Meta está haciendo que su modelo, llamado Open Pretrained Transformer (OPT), esté disponible para uso no comercial. También está lanzando su código y un libro de registro que documenta el proceso de entrenamient. El libro de registro contiene actualizaciones diarias de los miembros del equipo sobre los datos de entrenamiento: cómo se agregaron al modelo y cuándo, qué funcionó y qué no. En más de 100 páginas de notas, los investigadores registran cada error, bloqueo y reinicio en un proceso de capacitación de tres meses que se ejecutó sin parar