RSAC
Es una trama común de película: el personaje principal cree haber visto a alguien cruzar la calle, así que vira y termina en una zanja. Ahora imagina que es real, o casi, y en lugar de que sea un truco de luz o de la mente, la imagen viene de un cibercriminal que proyecta, durante un microsegundo, algo que el piloto automático del vehículo está programado para responder. Los investigadores del Instituto de Tecnología de Georgia y la Universidad Ben-Gurión del Néguev demostraron este tipo de amenaza mediante un “ataque fantasma” en la Conferencia RSA 2021.
La idea de mostrar imágenes peligrosas a los sistemas de inteligencia artificial (IA) no es nueva. En general, las técnicas involucran el uso de imágenes modificadas para obligar a la IA a sacar una conclusión inesperada. Todos los algoritmos de aprendizaje automático tienen este tendón de Aquiles. Saber qué atributos son clave para el reconocimiento de imágenes, es decir, saber un poco sobre el algoritmo, posibilita modificar las imágenes para entorpecer el proceso de toma de decisiones de la máquina o incluso obligarla a cometer un error.
La novedad del enfoque demostrado en la Conferencia RSA 2021 es que se le mostraron imágenes sin modificar al piloto automático; no es necesario que el atacante sepa cómo funciona el algoritmo o qué atributos utiliza. Las imágenes se proyectaron por poco tiempo sobre el camino y en objetos inmóviles cercanos y tuvieron las siguientes consecuencias.
En una variación del tema, las imágenes aparecieron durante una fracción de segundo en un espectacular a lado del camino, y tuvieron, en esencia, el mismo resultado.
Por lo tanto, los autores del estudio concluyeron que los cibercriminales pueden causar estragos desde una distancia segura, sin el riesgo de dejar evidencia en la escena del crimen. Lo único que necesitan saber es por cuánto tiempo tienen que proyectar la imagen para engañar a la IA (los vehículos autónomos tienen un umbral de activación para reducir su probabilidad de producir falsos positivos debidos a, por ejemplo, tierra o escombros en el lente de la cámara o lidar).
Ahora, la distancia de frenado se mide en docenas de pies, de manera que añadir unos cuantos pies para mejorar la evaluación de la situación no fue gran cosa para los desarrolladores de la IA.
Tiempo de duración necesario para mostrar una imagen fantasma a los sistemas de reconocimiento de Tesla y Mobileye. Fuente
Sin embargo, la cifra de un par de metros aplica al sistema de visión artificial de Mobileye y una velocidad de 60 km/h (más o menos 37 mph). En ese caso, el tiempo de respuesta es de aproximadamente 125 milisegundos. El umbral de respuesta del piloto automático de Tesla, de acuerdo con la determinación experimental de los investigadores, es casi tres veces mayor: 400 milisegundos. A la misma velocidad, esto agregaría casi 7 metros (más o menos 22 pies). De cualquier forma, sigue siendo una fracción de segundo. En consecuencia, los investigadores creen que un ataque de este tipo podría aparecer de la nada: antes de que te des cuenta, ya estás en una zanja y el dron que proyectó la imagen se ha ido.
Pero una peculiaridad en el sistema da la esperanza de que los pilotos automáticos, finalmente, podrán repeler este tipo de ataques: las imágenes que se proyectan en las superficies que no son aptas para mostrar imágenes difieren mucho de la realidad. Para el ojo humano es muy fácil distinguir las imágenes fantasmas de objetos reales gracias a la distorsión de la perspectiva, los bordes irregulares, colores no naturales, contraste extremo, y otras rarezas.
Como tal, la vulnerabilidad del piloto automático ante los ataques fantasmas es una consecuencia de la brecha de percepción entre la IA y el cerebro humano. Para superar esta brecha, los autores del estudio proponen acondicionar los sistemas de piloto automático de los vehículos con revisiones adicionales para verificar la congruencia de las características como la perspectiva, uniformidad de los bordes, color, contraste y brillo, y garantizar que los resultados sean congruentes antes de tomar cualquier decisión. Así como con una lesión humana, las redes neuronales deliberarán sobre los parámetros que ayudarían a distinguir entre señales reales de una cámara o lidar y un fantasma efímero.
Hacerlo, por supuesto, aumentaría la carga computacional de los sistemas y resultaría de manera efectiva en la operación paralela de varias redes neuronales a la vez, todas con el entrenamiento necesario (un proceso largo y que requiere mucha energía). Y los vehículos, que ya son pequeños cúmulos de computadoras sobre ruedas, se tendrán que convertir en pequeños cúmulos de supercomputadoras sobre ruedas.
A medida que los aceleradores de IA se hacen más prevalentes, los vehículos podrían llevar a bordo varias redes neuronales que trabajen en paralelo y no drenen la energía. Pero esa es una historia para otro momento.
Consejos