Inseguridad en la vía de control de datos de los LLM (ENG)

El problema general de mezclar datos con comandos está en la raíz de muchas de nuestras vulnerabilidades de seguridad informática. En un ataque de desbordamiento de búfer, un atacante envía una cadena de datos tan larga que se convierte en comandos informáticos. En un ataque de inyección SQL, el código malicioso se mezcla con entradas de la base de datos. Y así sucesivamente. Siempre que un atacante pueda obligar a un ordenador a confundir datos con instrucciones, es vulnerable. Esto pasa en ChatGPT y el resto de LLM.