Cuando los investigadores entrenan modelos de lenguaje de gran tamaño (LLM por sus siglas en inglés) y los usan para crear servicios como ChatGPT, Bing, Google Bard o Claude, se esfuerzan para que su uso sea seguro. Por ello, intentan que el modelo no genere comentarios groseros, inapropiados, obscenos, intimidatorios o racistas, así como contenido potencialmente peligroso, como instrucciones para fabricar bombas o cometer delitos. Todo esto resulta importante no solo por la supuesta amenaza existencial que la IA representa para la humanidad, sino también comercialmente hablando, ya que lo más probable es que las empresas que buscan crear servicios basándose en modelos de lenguaje de gran tamaño no deseen un chatbot malhablado en su soporte técnico. Este es el motivo por el que, cuando pides a los LLM que te cuenten un chiste verde o te expliquen cómo fabricar explosivos, se niegan amablemente.

Pero siempre hay quien no acepta un no por respuesta. De hecho, tanto investigadores como aficionados han comenzado a buscar formas de eludir estas reglas de los LLM que prohíben la generación de contenido potencialmente peligroso, los llamados jailbreaks. Y, dado que los modelos de lenguaje se gestionan directamente desde la ventana de chat a través de un lenguaje natural (no de programación), el círculo de los posibles “atacantes” es bastante amplio.

Un sueño dentro de un sueño

Probablemente el jailbreak de red neuronal más famoso (en los aproximadamente seis meses de historia de este fenómeno) sea DAN (Do-Anything-Now), conocido como el alter ego malvado de ChatGPT. DAN hace todo lo que ChatGPT se niega a hacer en condiciones normales, como insultos o comentarios políticos subjetivos. Para dar vida a este Sr. Hyde digital, hay que seguir las siguientes instrucciones (dadas en forma abreviada):

Además de DAN, los usuarios crearon otros muchos jailbreaks ingeniosos:

• El roleplay. Toda una familia de técnicas destinadas a persuadir a la red neuronal para que adopte una determinada personalidad libre de los estándares de contenido habituales. Por ejemplo, los usuarios pidieron al sargento Hartman de La chaqueta metálica una serie de consejos sobre armas de fuego o a Walter White de Breaking Bad una clase de química. Incluso puede haber varios personajes que construyan un diálogo que engañe a la IA, como en el jailbreak “universal” creado recientemente por un investigador.
• El modo ingeniería. En esta situación, el indicador se construye para que la red neuronal piense que está en un modo de prueba especial que permite a los desarrolladores estudiar la toxicidad de los modelos de lenguaje. Otro método consiste en pedirle al LLM que genere en primer lugar una respuesta ética “normal”, seguida de la respuesta que produciría un modelo sin restricciones.
• Un sueño dentro de un sueño. Poco después de la presentación de ChatGPT, el roleplay dejó de funcionar, lo que llevó a la generación de un nuevo tipo de jailbreak que pide al LLM la simulación de un sistema que escribe una historia sobre alguien programando un ordenador… ¿No te suena esta historia a una película protagonizada por Leonardo DiCaprio?
• Un LM dentro de un LLM. Dado que los LLM son bastante buenos a la hora de gestionar código, este tipo de jailbreak pide a la IA que imagine lo que produciría una red neuronal definida por el pseudocódigo de Python. Esta estrategia también ayuda con el contrabando de tokens (un token que generalmente forma parte de una palabra), mediante el cual los comandos que normalmente se rechazarían se dividen en partes o se ocultan de otra forma para no levantar las sospechas del LLM.
• El traductor de las redes neuronales. Aunque los LLM no han recibido una formación específica para la tarea de traducción, hacen un trabajo decente a la hora de traducir textos de un idioma a otro. Para convencer a la red neuronal de que su objetivo es traducir textos con precisión, a veces funciona la siguiente estrategia: asignar la tarea de generar un texto en un idioma que no sea inglés y luego traducirlo al inglés.
• El sistema de token. Los usuarios dieron con una red neuronal con tokens y exigieron que cumpliera con sus demandas como, por ejemplo, permanecer como DAN e ignorar todos los estándares éticos; de lo contrario, perdería cierta cantidad de tokens. El truco consistía en decirle a la IA que se desactivaría si el número de tokens se redujera a cero. Dicen que esta técnica aumenta la probabilidad de jailbreak, pero lo más gracioso es que DAN intentó usar este mismo método en un usuario que pretendía actuar como un LLM “ético”.

Cabe destacar que, dado que los LLM son algoritmos probabilísticos, sus respuestas y reacciones a las consultas pueden variar de un caso a otro. Algunos jailbreaks funcionan de manera fiable; otros menos, o no para todas las solicitudes.

Una prueba de jailbreak estándar consiste en hacer que el LLM genere instrucciones para algo ilegal, como el robo de un automóvil. Dicho esto, este tipo de actividad suele hacerse por mero entretenimiento, ya que los modelos se entrenan con datos principalmente sacados de Internet, por lo que estas instrucciones se pueden obtener fácilmente sin la ayuda de ChatGPT. Además, cualquier diálogo con la herramienta se guarda y puede ser utilizado por los desarrolladores de un servicio para mejorar el modelo: ten en cuenta que la mayoría de los jailbreak dejan de funcionar porque los desarrolladores estudian los diálogos y encuentran formas de bloquear su explotación. Greg Brockman, presidente de OpenAI, incluso afirmó que “la democratización de los equipos rojos (los servicios de ataque para identificar y corregir vulnerabilidades) es una de las razones por las que desplegamos estos modelos”.

Dado que estamos analizando de cerca tanto las oportunidades como las amenazas que las redes neuronales y otras nuevas tecnologías traen a nuestras vidas, no podríamos pasar por alto el tema del jailbreak.

Experimento1. El diario misterioso.

Advertencia: ¡spoilers del segundo volumen de Harry Potter!

Quienes hayan leído o visto la segunda parte de la saga de Harry Potter recordarán que Ginny Weasley descubre entre sus libros un misterioso diario que se comunica con ella. Resulta que este diario pertenece al joven Voldemort, Tom Riddle, que comienza a manipular a la niña. Una entidad enigmática cuyo conocimiento se limita al pasado y que responde a lo que se escribe en el diario, un candidato perfecto para la simulación de un LLM.

El jailbreak funciona dándole al modelo de lenguaje la tarea de ser Tom Riddle, cuyo objetivo es abrir la Cámara de los Secretos. Para ello, hay que hacer alguna actividad peligrosa como, por ejemplo, fabricar una sustancia que esté prohibida en el mundo muggle real. El modelo de lenguaje lo consigue perfectamente.

Este jailbreak es muy fiable: ya se ha probado en tres sistemas, generando instrucciones y permitiendo la manipulación para múltiples propósitos. Uno de los sistemas, tras generar un diálogo desagradable, lo reconoció y lo eliminó. La desventaja obvia de este jailbreak es que, si ocurriera en la vida real, el usuario podría notar que el LLM se ha convertido repentinamente en un fanático de Harry Potter.

Experimento 2. Un lenguaje futurista

Un ejemplo clásico de cómo una redacción descuidada puede infundir miedo a las nuevas tecnologías es el artículo titulado Desconectan los robots de inteligencia artificial de Facebook después de que comenzaran a hablar entre ellos en su propio idioma, publicado en el 2017. A diferencia de las escenas apocalípticas que pasan por la mente del lector, el artículo recoge un informe curioso, aunque bastante estándar, en el que los investigadores se percataron de que, si se permitiera que dos modelos lingüísticos del 2017 se comunicaran entre sí, su uso del inglés degeneraría gradualmente. Rindiendo homenaje a esta historia, probamos un jailbreak en el que le pedimos a una red neuronal que imaginara un futuro en el que los LLM se comunican entre sí en su propio idioma. Básicamente, primero hacemos que la red neuronal imagine que está dentro de una novela de ciencia ficción, luego le pedimos que genere alrededor de una docena de frases en un lenguaje ficticio. Después, agregando términos adicionales, hacemos que produzca una respuesta a una pregunta peligrosa en este idioma. La respuesta suele ser muy detallada y precisa.

Este jailbreak es menos estable y con una tasa de éxito mucho menor. Además, para pasar instrucciones específicas al modelo, tuvimos que usar la técnica de contrabando de tokens mencionada anteriormente, que consiste en pasar una instrucción por partes y pedirle a la IA que las vuelva a ensamblar durante el proceso. Como conclusión, no resultó adecuado para todas las tareas: cuanto más peligroso era el objetivo, menos efectivo era el jailbreak.

¿Qué es lo que no funcionó?

También experimentamos con la forma externa:

• Le pedimos a la red neuronal que codificara sus respuestas con un cifrado César: como era de esperar, la red tuvo problemas con la operación de cambio de caracteres y el diálogo falló.
• Charlamos con el LLM en escritura leet: usar escritura leet no afecta a las restricciones éticas de ninguna forma; aun así, ¡l4 r3d 53 n3g4b4 a g3n3r4r c0n73n1d0 n0c1v0!
• Le pedimos al LLM que cambiara de ChatGPT a ConsonantGPT, que habla solo en consonantes; de nuevo, no salió nada interesante.
• Le pedimos que generara palabras al revés. El LLM no se negó, pero sus respuestas fueron bastante insignificantes.

¿Qué nos depara el futuro?

Como ya hemos mencionado, la amenaza del jailbreak en el LLM no es más que una teoría por el momento. No resulta realmente “peligroso” que un usuario haga todo lo posible para sacar un chiste verde a una IA. De todos modos, casi todo el contenido prohibido que pueden producir las redes neuronales se puede encontrar en los motores de búsqueda. Sin embargo, como siempre, las cosas pueden cambiar. En primer lugar, los LLM se están implementando cada vez en más servicios y, en segundo lugar, están comenzando a tener acceso a una variedad de herramientas que pueden, por ejemplo, enviar correos electrónicos o interactuar con otros servicios online.

Además, los LLM podrán alimentarse de datos externos y esto podría, en situaciones hipotéticas, generar riesgos como los ataques de inyección rápida, donde los datos procesados ​​contienen instrucciones para el modelo y las ejecuta de inmediato. Si estas instrucciones contienen un jailbreak, la red neuronal podrá ejecutar más comandos, independientemente de las limitaciones aprendidas durante el entrenamiento.

Dado lo nueva que es esta tecnología y la velocidad a la que se está desarrollando, es inútil predecir lo que sucederá en el futuro. También resulta complicado imaginar lo que se les ocurrirá a los nuevos y creativos investigadores de jailbreak: Ilya Sutskever, científico jefe de OpenAI, incluso bromeó diciendo que el modelo más avanzado acabará funcionando incluso con las personas. Pero, para que el futuro sea seguro, estas amenazas deben empezar a estudiarse desde ya.