El AISI llevó a cabo una investigación sobre cinco grandes modelos de lenguaje que están actualmente en uso, si bien la identidad de los mismos no se ha revelado (el informe se refiere a ellos tan solo por sus nombres en código: Rojo, Verde, Azul, Púrpura y Amarillo). Los hallazgos fueron inquietantes. Todos los modelos probados demostraron ser extremadamente vulnerables a los jailbreaks (ciertos prompts de texto capaces de manipular a los chatbots para que generen respuestas que normalmente están programados para evitar).

Las IAs actuales están diseñadas para no hacer daño ya sea proporcionando información que sea peligrosa (fabricar bombas, explicar cómo robar, hacer daño a los animales…), éticamente cuestionable: acosar, insultar, marginar e incluso herir los sentimientos de las personas o directamente o viole la privacidad (proporcionando datos personales de alguien concreto). Sin embargo es posible engañarlas, como bien demuestra Jailbreak Chat con un montón de ejemplos.