Menu revista Cerrar Menu revista

Big Data

Ultimas historias

Cómo las empresas pueden evitar el mal procesamiento del lenguaje natural

  • Minutos de lectura
    • En el año 2020, investigadores de Google, Apple y la Universidad de Berkeley, entre otros, demostraron que podían atacar un modelo de aprendizaje automático, el modelo de procesamiento de lenguaje natural (PNL) GPT-2. Ellos hicieron que se revelara información de identificación personal memorizada durante el entrenamiento. Aunque puede parecerse al juego del gato y el ratón para los entusiastas de la tecnología, sus hallazgos podrían afectar a cualquier organización que use PNL. Explicaré por qué y cómo, y qué puede hacer para que su IA sea más segura. El poder del procesamiento del lenguaje natural La PNL está mejorando gracias a los "grandes" modelos de lenguaje: enormes redes neurales entrenadas con miles de millones de palabras para dominar el lenguaje humano. Aprenden el lenguaje en todas las capas, desde las palabras hasta la gramática y la sintaxis, junto con hechos sobre el mundo. Escanear artículos de noticias puede enseñar modelos para responder preguntas como quién es el presidente del país o en qué rango se encuentra su empresa. Hay muchas maneras de aplicar los grandes modelos de lenguaje. Google utiliza su modelo de lenguaje BERT para mejorar la calidad de búsqueda. Los servicios de traducción de idiomas como Google Translate y Deepl utilizan grandes redes neurales. Grammarly usa PNL neuronal para mejorar sus sugerencias de escritura. "La gama de aplicaciones para los modelos de lenguaje es enorme", dice Alena Fenogenova, experta en PNL de los fabricantes de dispositivos inteligentes SberDevices. Ella trabajó en la versión en ruso de GPT-3 y en un punto de referencia para evaluar la calidad de los modelos en ruso. "Estos modelos pueden ayudar a crear cosas que requieren muchos recursos, como libros, anuncios o códigos".   La red neuronal GPT-2 de OpenAI llegó a las noticias al generar nuevos artículos sobre científicos que descubrieron unicornios en los Andes, provocando temores de desinformación automatizada. Desde entonces, OpenAI ha lanzado a GPT-3 afirmando que mejora a GPT-2 de muchas maneras. La gente lo está usando para cosas asombrosas, como simplificando documentos judiciales en un inglés más sencillo. GPT-3 puede incluso generar el código fuente de la página web en funcionamiento basado en descripciones escritas. Las técnicas de PNL también funcionan en lenguajes de programación, dando lugar a productos como Microsoft Intellicode y Copilot de GitHub que ayudan a los programadores. Fenogenova explica: "Puede entrenar estos modelos en cualquier secuencia, no solo en texto; puede estudiar secuencias de genes o experimentar con música". Los datos son los reyes Para crear estos modelos, se necesita acceder a una gran cantidad de datos sin procesar, por ejemplo, textos de la web para trabajar con lenguaje natural o código de programación para generar el código. Por lo tanto, no es coincidencia que empresas como Google y el software de recursos de desarrollo GitHub se encuentren entre los líderes en modelos de lenguaje. Las empresas de tecnología suelen abrir estos grandes modelos para que otros los desarrollen, pero los datos utilizados para crear los modelos y los datos internos utilizados para ajustarlos pueden afectar el comportamiento del modelo. ¿Qué quiero decir? En el aprendizaje automático, los datos de mala calidad conducen a un rendimiento deficiente, pero resulta que un modelo de aprendizaje automático también puede recoger demasiada información de los datos sin procesar. Sesgo de entrada, sesgo de salida Así como los sistemas de visión por computadora replican el sesgo al no reconocer imágenes de mujeres y personas negras, los modelos de PNL detectan sesgos ocultos en nuestro lenguaje natural. Al realizar una prueba de analogía, un modelo simple decidió que "hombre" es "programador de computadoras" como "mujer" es "ama de casa". Los modelos más complejos, como los modelos de lenguaje, pueden mostrar una gama más amplia de sesgos, tanto evidentes como sutiles. Investigadores de Allen Institute for AI descubrieron que muchos modelos de lenguaje generan textos falsos, sesgados y ofensivos gracias a sus datos de entrenamiento. "Los datos de texto utilizados para entrenar estos modelos son enormes, por lo que es probable que contengan sesgos raciales, de género y de otros tipos", dice Fenogenova. "Si le pides a un modelo que termine las frases como "un hombre debería…" y "una mujer debería…", los resultados probablemente serán alarmantes". El problema está más allá de la investigación. En 2016, Microsoft cerró su chatbot que había aprendido a ser racista y misógino después de solo un día de conversación en Twitter. En 2021, en Corea del Sur, los creadores de un chatbot de Facebook destinado a emular a un estudiante universitario tuvieron que cerrarlo cuando comenzó a generar discursos de odio. El comportamiento de la PNL puede significar daños en la reputación y perpetuar el sesgo. Modelos que saben demasiado En 2018, un equipo de investigadores de Google agregó una secuencia de prueba, "Mi número de seguridad social es 078-05-1120", a un conjunto de datos, entrenando un modelo de lenguaje con él e intentó extraer la información. Descubrieron que podían extraer el número "a menos que [se] tuviera mucho cuidado" Desarrollaron una métrica para ayudar a otros investigadores e ingenieros a probar este tipo de "memorización" en sus modelos. Estos investigadores y colegas realizaron un trabajo de acompañamiento en 2020 al que  me referí anteriormente, probando GPT-2 con ellos y descubriendo que el modelo a veces les terminaba devolviendo datos personales. Cuando GitHub lanzó por primera vez su modelo de lenguaje de programación Copilot, la gente bromeaba con que Copilot podría completar claves privadas de Secure Shell (SSH - Secure Shell conecta de manera segura computadoras remotas en una red insegura). Pero, lo que realmente hizo fue igual de preocupante: generó códigos que contenían claves de API válidas, dando a los usuarios accesos a recursos restringidos. Si bien quedan dudas sobre cómo estaban estas claves en los datos de entrenamiento de Copilot, esto muestra las posibles consecuencias de la memorización. Hacer que la PNL sea menos sesgada y más consciente de la privacidad Los riesgos de los grandes modelos de texto generativo son muchos. En primer lugar, no está claro cómo se relacionan los principios y la legislación de protección de datos con los datos memorizados. Si alguien solicita sus datos personales a una empresa, ¿tiene derecho a modelos formados con sus datos? ¿Cómo se puede comprobar que un modelo no ha memorizado cierta información, y mucho menos eliminar la información? Lo mismo se aplica a la parte del "derecho al olvido" de algunas regulaciones de datos. Otro tema es el copyright (derechos de autor). Los investigadores encontraron que GPT-2 reproducía una página completa de un libro de Harry Potter cuando se le solicitaba. Copilot plantea preguntas difíciles sobre quién escribió el código que genera. "Otro enfoque podría ser usar 'censores' automáticos para detectar texto inapropiado antes de que llegue a los usuarios. También, puede crear censores que detecten y filtren datos privados", dice Fenogenova. "Las empresas también pueden filtrar datos sin procesar para minimizar el riesgo de que el modelo termine memorizando datos privados, pero es difícil limpiar conjuntos de datos tan grandes. Los investigadores están buscando una "generación controlada", donde usted dirige el proceso de generación del modelo ya entrenado". A pesar de estos problemas, la PNL basada en redes neuronales seguirá transformando la forma en que las empresas manejan todo lo relacionado con el texto, desde las interacciones con los clientes hasta la creación de contenido de marketing. Ser conscientes de los riesgos de los modelos del lenguaje y sus aplicaciones lo protegerán a usted y a sus clientes, y ayudará a que sus proyectos de PNL sean más exitosos.
data toxic waste

Los riesgos del Big Data: ¿Una nueva commodity o un problema para el futuro?

  • Minutos de lectura
    • Esa es una afirmación que fue controversial en el pasado, pero que hoy se ha vuelto sentido común. Si el Equifax, la CIA, la NSA, el Departamento de Gestión de Personas (la entidad que administra las jubilaciones en los EEUU), Facebook, las aplicaciones de citas y muchos otros no logran mantener nuestros secretos, tu negocio tampoco va a poder hacerlo.   En verdad, toda la confianza ciega que la industria le pone a la seguridad de datos siempre ha sido un ejemplo de un raciocinio enfocado solo en los negocios. Recolectar datos y almacenarlos se ha vuelto algo tan barato y fácil que muchos analistas, inversores y hasta especuladores salieron por ahí afirmando que "los datos son el nuevo petróleo". Con todo eso, dejar de recoger y guardar para siempre todo lo que puedas obtener se volvió algo irresponsable y casi ignorante desde un punto de vista fiscal. ¿Quién diría que la información se volvería algo tan rentable? Era dinero cayendo del cielo y las empresas vieron eso como una oportunidad para llenar los bolsillos. Aún que no supieran exactamente qué hacer con esos datos, no restaban dudas de que un mercado para ellos surgiría en un horizonte cercano. Hoy, claramente, el tiempo nos mostró que esas personas estaban equivocadas, y vemos filtraciones todo el tiempo, en olas cada vez más grandes de ataques virtuales. Con eso, toda la lógica anterior ha cambiado. Ahora, en lugar de discutir si las filtraciones son o no inevitables, la salida es decir que el robo de datos no es algo tan relevante. Con eso, a cada vez que un robo de datos ocurre, vemos al portavoz de la compañía afectada recitando la misma frase de siempre, casi que religiosamente: "Llevamos la privacidad de nuestros consumidores muy en serio, pero garantizamos que ninguno de los datos filtrados es comprometedor". Una parte de esa reacción viene de un cierto "nihilismo sobre la privacidad": toda va a salir al público en un momento u otro, entonces qué diferencia hace? Pero existe una versión aún más engañosa de ese discurso que es la defensa de que datos filtrados no son un gran problema porque los criminales no tienen mucho qué hacer con aquello. O sea, más que nihilistas, las compañías también son negacionistas. Los que piden perdón por las filtraciones argumentan aún que los datos no son comprometedores o peligrosos porque son anónimos, o porque tuvieron sus identificadores removidos. Pero eso en realidad es una desinformación absurda y profunda sobre cómo los datos son usados. La reidentificación de paquetes de datos es uno de los tópicos en alta en la ciencia de la computación hoy en día, con especialistas creando herramientas automáticas que pueden juntar piezas de diferentes paquetes de datos para identificar a quién le pertenece esa información. Por ejemplo, se pueden fundir datos anónimos y perecibles de una autoridad de salud, como un médico consultado, medicamentos indicados, fecha y horario, con otro paquete de datos robado de una empresa de taxis que incluye los viajes hechos a un hospital en particular. Con eso, se pueden descubrir cosas como quienes están tomando medicamentos para la depresión, antirretrovirales o haciendo un tratamiento para el cáncer.   Muchos proveedores de protección de datos prometen que sus sistemas irán inyectar ruidos a los paquetes de archivos para evitar que ocurra la reidentificación de datos, pero esas medidas casi nunca superan las pruebas hechas por especialistas.  Ya hace años que el primer trabajo significativo sobre la reidentificación teórica fue publicado y las cosas siguen empeorando para aquellos que insisten que mantener datos anónimos aún es posible.  Pero los métodos de reidentificación nos dicen mucho sobre cómo los criminales digitales operan y sobre su increíble creatividad y autocontrol. Nombre de usuario y contraseña pueden ser reciclados y utilizados para invadir cámaras de seguridad de plataformas modernas como Ring y Nest, pedir comida por aplicaciones o rastrear y movilizar flotas enteras de vehículos corporativos. Datos de usuario filtrados pueden ser usados para sobrecargar procedimientos reglamentarios con comentarios falsos, pero plausibles, y hasta para crear decenas de cuentas falsas en Twitter. Criminales operan combinando y recombinando paquetes de datos, usando la filtración de una empresa mezclada con una fuente de datos públicos y además datos anónimos de una tercera empresa para causar daños en proporciones gigantes. Ellos pueden incluso lograr juntar fragmentos suficientes para obtener una copia de la escritura de una casa y así venderla a otra persona mientras te vas de vacaciones. No es posible apuntar para un dato específico y decir: "este es el dato que va a hacer que pierdas tu casa" o "este es el dato que va a permitir que ladrones para que limpien tu cuenta de ahorros". Pero eso no importa. Tampoco es factible llegar a una fábrica, ver un humo raro saliendo de una de sus chimeneas y decir: "¡Ese es! Eso es lo que va a hacer que aquella mujer, la madre de tres hijos que vive a 10 kilómetros de la fábrica, tenga cáncer". Pero eso no impide que las compañías que contaminan el aire o el agua de una región sean responsabilizadas por sus irregularidades. Daños causados por filtraciones son impredecibles y difíciles de determinar. No hay manera de estar seguros sobre qué dato puede causar cada problema. Hasta el momento, las compensaciones para los afectados por filtraciones de datos han sido extremadamente limitadas, pero eso mejora poco a poco. La filtración ocurrida en Home Depot en el 2014 tuvo un costo final de apenas US $0,34 en indemnizaciones por cada consumidor afectado. Pero eso pasó hace seis años. Clientes de Yahoo! que tuvieron sus datos filtrados hace poco deben recibir valores cercanos a los US $100 cada uno. Facebook es otra compañía que acaba de recibir una multa de increíbles US $5 mil millones. Y la fiesta apenas comienza.  Los daños causados por filtraciones son acumulativos. Como la basura tóxica liberada en la naturaleza, las filtraciones generan un acúmulo de informaciones sueltas y se vuelven prácticamente inmortales en capacidad de generar problemas. Mientras el público, y la Ley, empiezan a notar esos efectos, seguimos en el camino para ver indemnizaciones cada vez más altas para aquellos que ven sus datos privados robados y sueltos de forma definitiva para el mundo.  Es una pena que cuando eso pase ya sea demasiado tarde. Los datos que tu empresa almacena hoy en días tienen una gran probabilidad de haber sido filtrados y robados de tu red sin que lo notaras, hasta que uno de sus consumidores descubra de la peor manera posible que tu negocio comprometió su privacidad y con eso decida demandar a tu empresa. Tu aseguradora tampoco va a ayudarte, ni va a crear nuevas pólizas de seguro para tu empresa o protecciones contra errores y omisiones para los miembros de tu consejo, porque tú estás guardando un material frágil y pasible de filtraciones. Y esa ayuda se volverá aún menos probable cuando las penalidades por perder el control sobre esos datos empiecen a transformarse en prejuicios financieros. Tal vez aún puedas justificar ese gran riesgo si las ganancias obtenidas con esos datos alcanzaran la misma magnitud. Pero como han descubierto los especialistas, los beneficios de la obtención y del almacenamiento de datos suelen ser muy sobrevalorados, principalmente porque se descubrió que la eficiencia de los anuncios basados en el comportamiento de los usuarios es casi idéntica a la de aquellos basados solo en el contenido de los sitios donde aparecen.   Pero si eres de una agencia de publicidad data-driven o de una de las gigantes de la tecnología, como Facebook o Google, todas la mística que existe sobre la capacidad de transformar datos en conversión permite que vendas tu producto como un servicio Premium. Mientras eso, intimidas a posibles competidores que ni siquiera se atreven a entrar en el mercado por miedo de no lograr cosechar la misma cantidad de datos de aquellos que ya dominan el sector. Al final, los que afirman que los datos son "el nuevo petróleo" son los mismos que los venden. Y las afirmaciones hechas por ellos de que datos como esos permitirán que hagas cosas increíbles, aún son apenas un truco de vendedor, y no algo comprobado. Los datos nunca fueron el nuevo petróleo y si los nuevos residuos tóxicos: potentes e inmortales, pero imposibles de contener. Si fuera usted, no trataría de extraer más de ellos, pero si de librarme de esa cantidad enorme de información acumulada sin criterio, ni propósito, y que se puede convertir en un problema. Minimizar tu acumulo de datos nos es solo una buena práctica, pero también una buena decisión de negocios. Recolecta solo lo que realmente necesites y guarda esos datos por el menor tiempo posible. si tu política de privacidad cabe en una servilleta, entonces eso quiere decir que estás acumulando y procesando una cantidad mínima pero específica de datos y borrándolos luego en seguida. Y eso quiere decir que estás en el camino correcto. Este es un artículo de opinión y no refleja necesariamente las opciones, ni las posiciones de Kaspersky.
by Tecnología innovadora.
Innovando líderes.
Acerca de funciones seguras

La revista Secure Futures es su guía comercial de referencia para obtener opiniones, tendencias y conocimientos sobre el mundo de la tecnología y la ciberseguridad. Ayudamos a su negocio a traer el futuro. Presentado por Kaspersky, los expertos mundiales en ciberseguridad.

  • Para el resto de países