![\"\"](\"https:\/\/media.kasperskydaily.com\/wp-content\/uploads\/sites\/87\/2022\/03\/17035620\/Secure-future-logo_png.png\"){kind=logo}
\t\t\t\t<\/a>\n\t\t\t\t\t\tCiberseguridad para grandes organizaciones<\/p>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t
Ciberseguridad empresarial<\/span><\/h3>\n\t\t\t\t\t\t\t\t\t\t\t<\/header>\n\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\tNuestra gama de soluciones de ciberseguridad para las necesidades \u00fanicas de organizaciones y grandes empresas.<\/p>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\tEmpresa segura<\/a>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/article>\n\t\t<\/div>\n\t\nHay muchas maneras de aplicar los grandes modelos de lenguaje. Google utiliza su modelo de lenguaje BERT para mejorar la calidad de b\u00fasqueda. Los servicios de traducci\u00f3n de idiomas como Google Translate y Deepl utilizan grandes redes neurales<\/a>. Grammarly usa PNL neuronal para mejorar sus sugerencias de escritura.<\/p>\n\u201cLa gama de aplicaciones para los modelos de lenguaje es enorme\u201d, dice Alena Fenogenova, experta en PNL de los fabricantes de dispositivos inteligentes SberDevices. Ella trabaj\u00f3 en la versi\u00f3n en ruso de GPT-3 y en un punto de referencia para evaluar la calidad de los modelos en ruso.<\/a> \u201cEstos modelos pueden ayudar a crear cosas que requieren muchos recursos, como libros, anuncios o c\u00f3digos\u201d.\u00a0\u00a0 <\/em><\/p>\nLa red neuronal GPT-2 de OpenAI lleg\u00f3 a las noticias al generar nuevos art\u00edculos sobre cient\u00edficos que descubrieron unicornios en los Andes,<\/a> provocando temores de desinformaci\u00f3n automatizada. Desde entonces, OpenAI ha lanzado a GPT-3<\/a> afirmando que mejora a GPT-2 de muchas maneras. La gente lo est\u00e1 usando para cosas asombrosas, como simplificando documentos judiciales en un ingl\u00e9s m\u00e1s sencillo. GPT-3 puede incluso generar el c\u00f3digo fuente de la p\u00e1gina web en funcionamiento basado en descripciones escritas.<\/a> Las t\u00e9cnicas de PNL tambi\u00e9n funcionan en lenguajes de programaci\u00f3n, dando lugar a productos como Microsoft Intellicode y Copilot de GitHub que ayudan a los programadores.<\/p>\nFenogenova explica: \u201cPuede entrenar estos modelos en cualquier secuencia, no solo en texto; puede estudiar secuencias de genes o experimentar con m\u00fasica\u201d.<\/p>\n
Los datos son los reyes<\/h2>\n
Para crear estos modelos, se necesita acceder a una gran cantidad de datos sin procesar, por ejemplo, textos de la web para trabajar con lenguaje natural o c\u00f3digo de programaci\u00f3n para generar el c\u00f3digo. Por lo tanto, no es coincidencia que empresas como Google y el software de recursos de desarrollo GitHub se encuentren entre los l\u00edderes en modelos de lenguaje.<\/p>\n
Las empresas de tecnolog\u00eda suelen abrir estos grandes modelos para que otros los desarrollen, pero los datos utilizados para crear los modelos y los datos internos utilizados para ajustarlos pueden afectar el comportamiento del modelo.<\/p>\n
\u00bfQu\u00e9 quiero decir? En el aprendizaje autom\u00e1tico, los datos de mala calidad conducen a un rendimiento deficiente, <\/a>pero resulta que un modelo de aprendizaje autom\u00e1tico tambi\u00e9n puede recoger demasiada informaci\u00f3n de los datos sin procesar.<\/p>\nSesgo de entrada, sesgo de salida<\/h2>\n
As\u00ed como los sistemas de visi\u00f3n por computadora replican el sesgo al no reconocer im\u00e1genes de mujeres y personas negras<\/a>, los modelos de PNL detectan sesgos ocultos en nuestro lenguaje natural. Al realizar una prueba de analog\u00eda, un modelo simple decidi\u00f3 que \u201chombre\u201d es \u201cprogramador de computadoras\u201d como \u201cmujer\u201d es \u201cama de casa\u201d.<\/a><\/p>\nLos modelos m\u00e1s complejos, como los modelos de lenguaje, pueden mostrar una gama m\u00e1s amplia de sesgos, tanto evidentes como sutiles. Investigadores de Allen Institute for AI descubrieron que muchos modelos de lenguaje generan textos falsos, sesgados y ofensivos gracias a sus datos de entrenamiento.<\/p>\n
\u201cLos datos de texto utilizados para entrenar estos modelos son enormes, por lo que es probable que contengan sesgos raciales, de g\u00e9nero y de otros tipos\u201d, dice Fenogenova. \u201cSi le pides a un modelo que termine las frases como \u201cun hombre deber\u00eda\u2026\u201d y \u201cuna mujer deber\u00eda\u2026\u201d, los resultados probablemente ser\u00e1n alarmantes\u201d.<\/p>\n
El problema est\u00e1 m\u00e1s all\u00e1 de la investigaci\u00f3n. En 2016, Microsoft cerr\u00f3 su chatbot que hab\u00eda aprendido a ser racista y mis\u00f3gino despu\u00e9s de solo un d\u00eda de conversaci\u00f3n en Twitter.<\/a> En 2021, en Corea del Sur, los creadores de un chatbot de Facebook destinado a emular a un estudiante universitario tuvieron que cerrarlo cuando comenz\u00f3 a generar discursos de odio.<\/a> El comportamiento de la PNL puede significar da\u00f1os en la reputaci\u00f3n y perpetuar el sesgo.<\/p>\nModelos que saben demasiado<\/h2>\n
En 2018, un equipo de investigadores de Google agreg\u00f3 una secuencia de prueba, \u201cMi n\u00famero de seguridad social es 078-05-1120\u201d, a un conjunto de datos, entrenando un modelo de lenguaje con \u00e9l e intent\u00f3 extraer la informaci\u00f3n. Descubrieron que pod\u00edan extraer el n\u00famero \u201ca menos que [se] tuviera mucho cuidado\u201d<\/a> Desarrollaron una m\u00e9trica para ayudar a otros investigadores e ingenieros a probar este tipo de \u201cmemorizaci\u00f3n\u201d en sus modelos. Estos investigadores y colegas realizaron un trabajo de acompa\u00f1amiento en 2020<\/a> al que\u00a0 me refer\u00ed anteriormente, probando GPT-2 con ellos y descubriendo que el modelo a veces les terminaba devolviendo datos personales.<\/p>\nCuando GitHub lanz\u00f3 por primera vez su modelo de lenguaje de programaci\u00f3n Copilot, la gente bromeaba con que Copilot podr\u00eda completar claves privadas de Secure Shell (SSH \u2013 Secure Shell conecta de manera segura computadoras remotas en una red insegura). Pero, lo que realmente hizo fue igual de preocupante: gener\u00f3 c\u00f3digos que conten\u00edan claves de API v\u00e1lidas, dando a los usuarios accesos a recursos restringidos.<\/a> Si bien quedan dudas sobre c\u00f3mo estaban estas claves en los datos de entrenamiento de Copilot, esto muestra las posibles consecuencias de la memorizaci\u00f3n.<\/p>\nHacer que la PNL sea menos sesgada y m\u00e1s consciente de la privacidad<\/h2>\n
Los riesgos de los grandes modelos de texto generativo son muchos. En primer lugar, no est\u00e1 claro c\u00f3mo se relacionan los principios y la legislaci\u00f3n de protecci\u00f3n de datos con los datos memorizados. Si alguien solicita sus datos personales a una empresa, \u00bftiene derecho a modelos formados con sus datos? \u00bfC\u00f3mo se puede comprobar que un modelo no ha memorizado cierta informaci\u00f3n, y mucho menos eliminar la informaci\u00f3n? Lo mismo se aplica a la parte del \u201cderecho al olvido\u201d de algunas regulaciones de datos.<\/p>\n
Nuestra gama de soluciones de ciberseguridad para las necesidades \u00fanicas de organizaciones y grandes empresas.<\/p>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t
Hay muchas maneras de aplicar los grandes modelos de lenguaje. Google utiliza su modelo de lenguaje BERT para mejorar la calidad de b\u00fasqueda. Los servicios de traducci\u00f3n de idiomas como Google Translate y Deepl utilizan grandes redes neurales<\/a>. Grammarly usa PNL neuronal para mejorar sus sugerencias de escritura.<\/p>\n \u201cLa gama de aplicaciones para los modelos de lenguaje es enorme\u201d, dice Alena Fenogenova, experta en PNL de los fabricantes de dispositivos inteligentes SberDevices. Ella trabaj\u00f3 en la versi\u00f3n en ruso de GPT-3 y en un punto de referencia para evaluar la calidad de los modelos en ruso.<\/a> \u201cEstos modelos pueden ayudar a crear cosas que requieren muchos recursos, como libros, anuncios o c\u00f3digos\u201d.\u00a0\u00a0 <\/em><\/p>\n La red neuronal GPT-2 de OpenAI lleg\u00f3 a las noticias al generar nuevos art\u00edculos sobre cient\u00edficos que descubrieron unicornios en los Andes,<\/a> provocando temores de desinformaci\u00f3n automatizada. Desde entonces, OpenAI ha lanzado a GPT-3<\/a> afirmando que mejora a GPT-2 de muchas maneras. La gente lo est\u00e1 usando para cosas asombrosas, como simplificando documentos judiciales en un ingl\u00e9s m\u00e1s sencillo. GPT-3 puede incluso generar el c\u00f3digo fuente de la p\u00e1gina web en funcionamiento basado en descripciones escritas.<\/a> Las t\u00e9cnicas de PNL tambi\u00e9n funcionan en lenguajes de programaci\u00f3n, dando lugar a productos como Microsoft Intellicode y Copilot de GitHub que ayudan a los programadores.<\/p>\n Fenogenova explica: \u201cPuede entrenar estos modelos en cualquier secuencia, no solo en texto; puede estudiar secuencias de genes o experimentar con m\u00fasica\u201d.<\/p>\n Para crear estos modelos, se necesita acceder a una gran cantidad de datos sin procesar, por ejemplo, textos de la web para trabajar con lenguaje natural o c\u00f3digo de programaci\u00f3n para generar el c\u00f3digo. Por lo tanto, no es coincidencia que empresas como Google y el software de recursos de desarrollo GitHub se encuentren entre los l\u00edderes en modelos de lenguaje.<\/p>\n Las empresas de tecnolog\u00eda suelen abrir estos grandes modelos para que otros los desarrollen, pero los datos utilizados para crear los modelos y los datos internos utilizados para ajustarlos pueden afectar el comportamiento del modelo.<\/p>\n \u00bfQu\u00e9 quiero decir? En el aprendizaje autom\u00e1tico, los datos de mala calidad conducen a un rendimiento deficiente, <\/a>pero resulta que un modelo de aprendizaje autom\u00e1tico tambi\u00e9n puede recoger demasiada informaci\u00f3n de los datos sin procesar.<\/p>\n As\u00ed como los sistemas de visi\u00f3n por computadora replican el sesgo al no reconocer im\u00e1genes de mujeres y personas negras<\/a>, los modelos de PNL detectan sesgos ocultos en nuestro lenguaje natural. Al realizar una prueba de analog\u00eda, un modelo simple decidi\u00f3 que \u201chombre\u201d es \u201cprogramador de computadoras\u201d como \u201cmujer\u201d es \u201cama de casa\u201d.<\/a><\/p>\n Los modelos m\u00e1s complejos, como los modelos de lenguaje, pueden mostrar una gama m\u00e1s amplia de sesgos, tanto evidentes como sutiles. Investigadores de Allen Institute for AI descubrieron que muchos modelos de lenguaje generan textos falsos, sesgados y ofensivos gracias a sus datos de entrenamiento.<\/p>\n \u201cLos datos de texto utilizados para entrenar estos modelos son enormes, por lo que es probable que contengan sesgos raciales, de g\u00e9nero y de otros tipos\u201d, dice Fenogenova. \u201cSi le pides a un modelo que termine las frases como \u201cun hombre deber\u00eda\u2026\u201d y \u201cuna mujer deber\u00eda\u2026\u201d, los resultados probablemente ser\u00e1n alarmantes\u201d.<\/p>\n El problema est\u00e1 m\u00e1s all\u00e1 de la investigaci\u00f3n. En 2016, Microsoft cerr\u00f3 su chatbot que hab\u00eda aprendido a ser racista y mis\u00f3gino despu\u00e9s de solo un d\u00eda de conversaci\u00f3n en Twitter.<\/a> En 2021, en Corea del Sur, los creadores de un chatbot de Facebook destinado a emular a un estudiante universitario tuvieron que cerrarlo cuando comenz\u00f3 a generar discursos de odio.<\/a> El comportamiento de la PNL puede significar da\u00f1os en la reputaci\u00f3n y perpetuar el sesgo.<\/p>\n En 2018, un equipo de investigadores de Google agreg\u00f3 una secuencia de prueba, \u201cMi n\u00famero de seguridad social es 078-05-1120\u201d, a un conjunto de datos, entrenando un modelo de lenguaje con \u00e9l e intent\u00f3 extraer la informaci\u00f3n. Descubrieron que pod\u00edan extraer el n\u00famero \u201ca menos que [se] tuviera mucho cuidado\u201d<\/a> Desarrollaron una m\u00e9trica para ayudar a otros investigadores e ingenieros a probar este tipo de \u201cmemorizaci\u00f3n\u201d en sus modelos. Estos investigadores y colegas realizaron un trabajo de acompa\u00f1amiento en 2020<\/a> al que\u00a0 me refer\u00ed anteriormente, probando GPT-2 con ellos y descubriendo que el modelo a veces les terminaba devolviendo datos personales.<\/p>\n Cuando GitHub lanz\u00f3 por primera vez su modelo de lenguaje de programaci\u00f3n Copilot, la gente bromeaba con que Copilot podr\u00eda completar claves privadas de Secure Shell (SSH \u2013 Secure Shell conecta de manera segura computadoras remotas en una red insegura). Pero, lo que realmente hizo fue igual de preocupante: gener\u00f3 c\u00f3digos que conten\u00edan claves de API v\u00e1lidas, dando a los usuarios accesos a recursos restringidos.<\/a> Si bien quedan dudas sobre c\u00f3mo estaban estas claves en los datos de entrenamiento de Copilot, esto muestra las posibles consecuencias de la memorizaci\u00f3n.<\/p>\n Los riesgos de los grandes modelos de texto generativo son muchos. En primer lugar, no est\u00e1 claro c\u00f3mo se relacionan los principios y la legislaci\u00f3n de protecci\u00f3n de datos con los datos memorizados. Si alguien solicita sus datos personales a una empresa, \u00bftiene derecho a modelos formados con sus datos? \u00bfC\u00f3mo se puede comprobar que un modelo no ha memorizado cierta informaci\u00f3n, y mucho menos eliminar la informaci\u00f3n? Lo mismo se aplica a la parte del \u201cderecho al olvido\u201d de algunas regulaciones de datos.<\/p>\nLos datos son los reyes<\/h2>\n
Sesgo de entrada, sesgo de salida<\/h2>\n
Modelos que saben demasiado<\/h2>\n
Hacer que la PNL sea menos sesgada y m\u00e1s consciente de la privacidad<\/h2>\n