En el año 2020, investigadores de Google, Apple y la Universidad de Berkeley, entre otros, demostraron que podían atacar un modelo de aprendizaje automático, el modelo de procesamiento de lenguaje natural (PNL) GPT-2. Ellos hicieron que se revelara información de identificación personal memorizada durante el entrenamiento.
Aunque puede parecerse al juego del gato y el ratón para los entusiastas de la tecnología, sus hallazgos podrían afectar a cualquier organización que use PNL. Explicaré por qué y cómo, y qué puede hacer para que su IA sea más segura.
El poder del procesamiento del lenguaje natural
La PNL forma parte de muchas aplicaciones en nuestro día a día, desde autocompletar textos en nuestros teléfonos hasta chatbots de atención al cliente en sitios web. Así es como una máquina puede entender lo suficiente nuestro significado –incluso con solo unas pocas palabras– como para darnos sugerencias relevantes.
La PNL está mejorando gracias a los “grandes” modelos de lenguaje: enormes redes neurales entrenadas con miles de millones de palabras para dominar el lenguaje humano. Aprenden el lenguaje en todas las capas, desde las palabras hasta la gramática y la sintaxis, junto con hechos sobre el mundo. Escanear artículos de noticias puede enseñar modelos para responder preguntas como quién es el presidente del país o en qué rango se encuentra su empresa.
Ciberseguridad para grandes organizaciones
Ciberseguridad empresarial
Nuestra gama de soluciones de ciberseguridad para las necesidades únicas de organizaciones y grandes empresas.
Hay muchas maneras de aplicar los grandes modelos de lenguaje. Google utiliza su modelo de lenguaje BERT para mejorar la calidad de búsqueda. Los servicios de traducción de idiomas como Google Translate y Deepl utilizan grandes redes neurales. Grammarly usa PNL neuronal para mejorar sus sugerencias de escritura.
“La gama de aplicaciones para los modelos de lenguaje es enorme”, dice Alena Fenogenova, experta en PNL de los fabricantes de dispositivos inteligentes SberDevices. Ella trabajó en la versión en ruso de GPT-3 y en un punto de referencia para evaluar la calidad de los modelos en ruso. “Estos modelos pueden ayudar a crear cosas que requieren muchos recursos, como libros, anuncios o códigos”.
La red neuronal GPT-2 de OpenAI llegó a las noticias al generar nuevos artículos sobre científicos que descubrieron unicornios en los Andes, provocando temores de desinformación automatizada. Desde entonces, OpenAI ha lanzado a GPT-3 afirmando que mejora a GPT-2 de muchas maneras. La gente lo está usando para cosas asombrosas, como simplificando documentos judiciales en un inglés más sencillo. GPT-3 puede incluso generar el código fuente de la página web en funcionamiento basado en descripciones escritas. Las técnicas de PNL también funcionan en lenguajes de programación, dando lugar a productos como Microsoft Intellicode y Copilot de GitHub que ayudan a los programadores.
Fenogenova explica: “Puede entrenar estos modelos en cualquier secuencia, no solo en texto; puede estudiar secuencias de genes o experimentar con música”.
Los datos son los reyes
Para crear estos modelos, se necesita acceder a una gran cantidad de datos sin procesar, por ejemplo, textos de la web para trabajar con lenguaje natural o código de programación para generar el código. Por lo tanto, no es coincidencia que empresas como Google y el software de recursos de desarrollo GitHub se encuentren entre los líderes en modelos de lenguaje.
Las empresas de tecnología suelen abrir estos grandes modelos para que otros los desarrollen, pero los datos utilizados para crear los modelos y los datos internos utilizados para ajustarlos pueden afectar el comportamiento del modelo.
¿Qué quiero decir? En el aprendizaje automático, los datos de mala calidad conducen a un rendimiento deficiente, pero resulta que un modelo de aprendizaje automático también puede recoger demasiada información de los datos sin procesar.
Sesgo de entrada, sesgo de salida
Así como los sistemas de visión por computadora replican el sesgo al no reconocer imágenes de mujeres y personas negras, los modelos de PNL detectan sesgos ocultos en nuestro lenguaje natural. Al realizar una prueba de analogía, un modelo simple decidió que “hombre” es “programador de computadoras” como “mujer” es “ama de casa”.
Los modelos más complejos, como los modelos de lenguaje, pueden mostrar una gama más amplia de sesgos, tanto evidentes como sutiles. Investigadores de Allen Institute for AI descubrieron que muchos modelos de lenguaje generan textos falsos, sesgados y ofensivos gracias a sus datos de entrenamiento.
“Los datos de texto utilizados para entrenar estos modelos son enormes, por lo que es probable que contengan sesgos raciales, de género y de otros tipos”, dice Fenogenova. “Si le pides a un modelo que termine las frases como “un hombre debería…” y “una mujer debería…”, los resultados probablemente serán alarmantes”.
El problema está más allá de la investigación. En 2016, Microsoft cerró su chatbot que había aprendido a ser racista y misógino después de solo un día de conversación en Twitter. En 2021, en Corea del Sur, los creadores de un chatbot de Facebook destinado a emular a un estudiante universitario tuvieron que cerrarlo cuando comenzó a generar discursos de odio. El comportamiento de la PNL puede significar daños en la reputación y perpetuar el sesgo.
Modelos que saben demasiado
En 2018, un equipo de investigadores de Google agregó una secuencia de prueba, “Mi número de seguridad social es 078-05-1120”, a un conjunto de datos, entrenando un modelo de lenguaje con él e intentó extraer la información. Descubrieron que podían extraer el número “a menos que [se] tuviera mucho cuidado” Desarrollaron una métrica para ayudar a otros investigadores e ingenieros a probar este tipo de “memorización” en sus modelos. Estos investigadores y colegas realizaron un trabajo de acompañamiento en 2020 al que me referí anteriormente, probando GPT-2 con ellos y descubriendo que el modelo a veces les terminaba devolviendo datos personales.
Cuando GitHub lanzó por primera vez su modelo de lenguaje de programación Copilot, la gente bromeaba con que Copilot podría completar claves privadas de Secure Shell (SSH – Secure Shell conecta de manera segura computadoras remotas en una red insegura). Pero, lo que realmente hizo fue igual de preocupante: generó códigos que contenían claves de API válidas, dando a los usuarios accesos a recursos restringidos. Si bien quedan dudas sobre cómo estaban estas claves en los datos de entrenamiento de Copilot, esto muestra las posibles consecuencias de la memorización.
Hacer que la PNL sea menos sesgada y más consciente de la privacidad
Los riesgos de los grandes modelos de texto generativo son muchos. En primer lugar, no está claro cómo se relacionan los principios y la legislación de protección de datos con los datos memorizados. Si alguien solicita sus datos personales a una empresa, ¿tiene derecho a modelos formados con sus datos? ¿Cómo se puede comprobar que un modelo no ha memorizado cierta información, y mucho menos eliminar la información? Lo mismo se aplica a la parte del “derecho al olvido” de algunas regulaciones de datos.
Otro tema es el copyright (derechos de autor). Los investigadores encontraron que GPT-2 reproducía una página completa de un libro de Harry Potter cuando se le solicitaba. Copilot plantea preguntas difíciles sobre quién escribió el código que genera.
Si desea utilizar estos modelos en aplicaciones comerciales, puede intentar filtrar los datos por sesgo, pero puede ser imposible con la escala de los conjuntos de datos actuales. Tampoco está claro qué filtrar: incluso las frases neutrales pueden causar sesgos de género cuando el modelo se usa más tarde para generar texto.
Alena Fenogenova
experta en PNL, SberDevices
“Otro enfoque podría ser usar ‘censores’ automáticos para detectar texto inapropiado antes de que llegue a los usuarios. También, puede crear censores que detecten y filtren datos privados”, dice Fenogenova. “Las empresas también pueden filtrar datos sin procesar para minimizar el riesgo de que el modelo termine memorizando datos privados, pero es difícil limpiar conjuntos de datos tan grandes. Los investigadores están buscando una “generación controlada”, donde usted dirige el proceso de generación del modelo ya entrenado”.
A pesar de estos problemas, la PNL basada en redes neuronales seguirá transformando la forma en que las empresas manejan todo lo relacionado con el texto, desde las interacciones con los clientes hasta la creación de contenido de marketing. Ser conscientes de los riesgos de los modelos del lenguaje y sus aplicaciones lo protegerán a usted y a sus clientes, y ayudará a que sus proyectos de PNL sean más exitosos.
