Menu revista Cerrar Menu revista

Autor

Vladislav Tushkanov

Vladislav is a data scientist for Kaspersky. He works on applying natural language processing to improve products and processes. He’s passionate about technology and human psychology, and how they both affect each other.

Ponte en contacto con Vladislav

Ultimas historias por Vladislav

Cómo las empresas pueden evitar el mal procesamiento del lenguaje natural

  • Negocios
  • Minutos de lectura
    • En el año 2020, investigadores de Google, Apple y la Universidad de Berkeley, entre otros, demostraron que podían atacar un modelo de aprendizaje automático, el modelo de procesamiento de lenguaje natural (PNL) GPT-2. Ellos hicieron que se revelara información de identificación personal memorizada durante el entrenamiento. Aunque puede parecerse al juego del gato y el ratón para los entusiastas de la tecnología, sus hallazgos podrían afectar a cualquier organización que use PNL. Explicaré por qué y cómo, y qué puede hacer para que su IA sea más segura. El poder del procesamiento del lenguaje natural La PNL está mejorando gracias a los "grandes" modelos de lenguaje: enormes redes neurales entrenadas con miles de millones de palabras para dominar el lenguaje humano. Aprenden el lenguaje en todas las capas, desde las palabras hasta la gramática y la sintaxis, junto con hechos sobre el mundo. Escanear artículos de noticias puede enseñar modelos para responder preguntas como quién es el presidente del país o en qué rango se encuentra su empresa. Hay muchas maneras de aplicar los grandes modelos de lenguaje. Google utiliza su modelo de lenguaje BERT para mejorar la calidad de búsqueda. Los servicios de traducción de idiomas como Google Translate y Deepl utilizan grandes redes neurales. Grammarly usa PNL neuronal para mejorar sus sugerencias de escritura. "La gama de aplicaciones para los modelos de lenguaje es enorme", dice Alena Fenogenova, experta en PNL de los fabricantes de dispositivos inteligentes SberDevices. Ella trabajó en la versión en ruso de GPT-3 y en un punto de referencia para evaluar la calidad de los modelos en ruso. "Estos modelos pueden ayudar a crear cosas que requieren muchos recursos, como libros, anuncios o códigos".   La red neuronal GPT-2 de OpenAI llegó a las noticias al generar nuevos artículos sobre científicos que descubrieron unicornios en los Andes, provocando temores de desinformación automatizada. Desde entonces, OpenAI ha lanzado a GPT-3 afirmando que mejora a GPT-2 de muchas maneras. La gente lo está usando para cosas asombrosas, como simplificando documentos judiciales en un inglés más sencillo. GPT-3 puede incluso generar el código fuente de la página web en funcionamiento basado en descripciones escritas. Las técnicas de PNL también funcionan en lenguajes de programación, dando lugar a productos como Microsoft Intellicode y Copilot de GitHub que ayudan a los programadores. Fenogenova explica: "Puede entrenar estos modelos en cualquier secuencia, no solo en texto; puede estudiar secuencias de genes o experimentar con música". Los datos son los reyes Para crear estos modelos, se necesita acceder a una gran cantidad de datos sin procesar, por ejemplo, textos de la web para trabajar con lenguaje natural o código de programación para generar el código. Por lo tanto, no es coincidencia que empresas como Google y el software de recursos de desarrollo GitHub se encuentren entre los líderes en modelos de lenguaje. Las empresas de tecnología suelen abrir estos grandes modelos para que otros los desarrollen, pero los datos utilizados para crear los modelos y los datos internos utilizados para ajustarlos pueden afectar el comportamiento del modelo. ¿Qué quiero decir? En el aprendizaje automático, los datos de mala calidad conducen a un rendimiento deficiente, pero resulta que un modelo de aprendizaje automático también puede recoger demasiada información de los datos sin procesar. Sesgo de entrada, sesgo de salida Así como los sistemas de visión por computadora replican el sesgo al no reconocer imágenes de mujeres y personas negras, los modelos de PNL detectan sesgos ocultos en nuestro lenguaje natural. Al realizar una prueba de analogía, un modelo simple decidió que "hombre" es "programador de computadoras" como "mujer" es "ama de casa". Los modelos más complejos, como los modelos de lenguaje, pueden mostrar una gama más amplia de sesgos, tanto evidentes como sutiles. Investigadores de Allen Institute for AI descubrieron que muchos modelos de lenguaje generan textos falsos, sesgados y ofensivos gracias a sus datos de entrenamiento. "Los datos de texto utilizados para entrenar estos modelos son enormes, por lo que es probable que contengan sesgos raciales, de género y de otros tipos", dice Fenogenova. "Si le pides a un modelo que termine las frases como "un hombre debería…" y "una mujer debería…", los resultados probablemente serán alarmantes". El problema está más allá de la investigación. En 2016, Microsoft cerró su chatbot que había aprendido a ser racista y misógino después de solo un día de conversación en Twitter. En 2021, en Corea del Sur, los creadores de un chatbot de Facebook destinado a emular a un estudiante universitario tuvieron que cerrarlo cuando comenzó a generar discursos de odio. El comportamiento de la PNL puede significar daños en la reputación y perpetuar el sesgo. Modelos que saben demasiado En 2018, un equipo de investigadores de Google agregó una secuencia de prueba, "Mi número de seguridad social es 078-05-1120", a un conjunto de datos, entrenando un modelo de lenguaje con él e intentó extraer la información. Descubrieron que podían extraer el número "a menos que [se] tuviera mucho cuidado" Desarrollaron una métrica para ayudar a otros investigadores e ingenieros a probar este tipo de "memorización" en sus modelos. Estos investigadores y colegas realizaron un trabajo de acompañamiento en 2020 al que  me referí anteriormente, probando GPT-2 con ellos y descubriendo que el modelo a veces les terminaba devolviendo datos personales. Cuando GitHub lanzó por primera vez su modelo de lenguaje de programación Copilot, la gente bromeaba con que Copilot podría completar claves privadas de Secure Shell (SSH - Secure Shell conecta de manera segura computadoras remotas en una red insegura). Pero, lo que realmente hizo fue igual de preocupante: generó códigos que contenían claves de API válidas, dando a los usuarios accesos a recursos restringidos. Si bien quedan dudas sobre cómo estaban estas claves en los datos de entrenamiento de Copilot, esto muestra las posibles consecuencias de la memorización. Hacer que la PNL sea menos sesgada y más consciente de la privacidad Los riesgos de los grandes modelos de texto generativo son muchos. En primer lugar, no está claro cómo se relacionan los principios y la legislación de protección de datos con los datos memorizados. Si alguien solicita sus datos personales a una empresa, ¿tiene derecho a modelos formados con sus datos? ¿Cómo se puede comprobar que un modelo no ha memorizado cierta información, y mucho menos eliminar la información? Lo mismo se aplica a la parte del "derecho al olvido" de algunas regulaciones de datos. Otro tema es el copyright (derechos de autor). Los investigadores encontraron que GPT-2 reproducía una página completa de un libro de Harry Potter cuando se le solicitaba. Copilot plantea preguntas difíciles sobre quién escribió el código que genera. "Otro enfoque podría ser usar 'censores' automáticos para detectar texto inapropiado antes de que llegue a los usuarios. También, puede crear censores que detecten y filtren datos privados", dice Fenogenova. "Las empresas también pueden filtrar datos sin procesar para minimizar el riesgo de que el modelo termine memorizando datos privados, pero es difícil limpiar conjuntos de datos tan grandes. Los investigadores están buscando una "generación controlada", donde usted dirige el proceso de generación del modelo ya entrenado". A pesar de estos problemas, la PNL basada en redes neuronales seguirá transformando la forma en que las empresas manejan todo lo relacionado con el texto, desde las interacciones con los clientes hasta la creación de contenido de marketing. Ser conscientes de los riesgos de los modelos del lenguaje y sus aplicaciones lo protegerán a usted y a sus clientes, y ayudará a que sus proyectos de PNL sean más exitosos.
by Tecnología innovadora.
Innovando líderes.
Acerca de funciones seguras

La revista Secure Futures es su guía comercial de referencia para obtener opiniones, tendencias y conocimientos sobre el mundo de la tecnología y la ciberseguridad. Ayudamos a su negocio a traer el futuro. Presentado por Kaspersky, los expertos mundiales en ciberseguridad.

  • Para el resto de países