RSAC
Es un recurso narrativo muy habitual en las películas: el protagonista cree haber visto a alguien en la carretera, por lo que se desvía y termina en una zanja. Pero ahora imagínate que es real, más o menos, y en lugar de un truco de luz o de la mente, esa imagen proviene de un ciberdelincuente que proyecta, durante una fracción de segundo, algo a lo que el piloto automático del automóvil está programado para responder. Un grupo de investigadores de Georgia Tech y la Universidad Ben-Gurión del Néguev demostraron este tipo de amenaza de “ataque fantasma” en la Conferencia RSA 2021.
La idea de mostrar imágenes peligrosas a los sistemas de inteligencia artificial no es nueva. Estas técnicas suelen implicar el uso de imágenes modificadas para obligar a la IA a sacar una conclusión inesperada. Todos los algoritmos de aprendizaje automático presentan este talón de Aquiles; saber qué atributos son clave para el reconocimiento de imágenes, es decir, conocer un poco el algoritmo, permite modificar las imágenes para dificultar el proceso de toma de decisiones de la máquina o incluso obligarla a equivocarse.
La novedad de la estrategia presentada en la conferencia RSA 2021 es que al piloto automático se le mostraban imágenes sin modificar, es decir, que el atacante no necesita saber cómo funciona el algoritmo o qué atributos utiliza. Las imágenes se proyectaban brevemente sobre la carretera y objetos estacionarios cercanos, con las siguientes consecuencias:
En una variante, las imágenes aparecían durante una fracción de segundo en un anuncio de una valla publicitaria situada al lado de la carretera, con el mismo resultado:
De esta forma, los autores del estudio concluyeron que los ciberdelincuentes pueden causar estragos desde una distancia segura, sin el riesgo de dejar pruebas en la escena del crimen. Todo lo que necesitan saber es cuánto tiempo tienen para proyectar la imagen y engañar a la IA (los coches autónomos cuentan con un umbral de activación para reducir su probabilidad de producir falsos positivos a partir de, por ejemplo, suciedad o escombros en la lente de la cámara o el lídar).
Ahora bien, la distancia de frenado de un automóvil se mide en pares de metros, por lo que agregar unos pocos metros para permitir una mejor evaluación de la situación no fue un gran problema para los desarrolladores de la IA.
Tiempo necesario para mostrar una imagen fantasma a los sistemas de reconocimiento de Tesla y Mobileye. Fuente
Sin embargo, la cifra de un par de metros se aplica al sistema de visión artificial de Mobileye y a una velocidad de 60 km/h. En ese caso, el tiempo de respuesta es de unos 125 milisegundos. Pero el umbral de respuesta del piloto automático de Tesla, según lo determinado por los investigadores en su estudio, es casi tres veces más largo, elevándose a 400 milisegundos. A la misma velocidad, eso ascendería a casi 7 metros. De cualquier forma, sigue siendo una fracción de segundo. En consecuencia, los investigadores creen que un ataque de este tipo podría surgir de la nada: antes de que te des cuenta, estás en una zanja y el dron que proyecta imágenes se ha ido.
Una peculiaridad en el sistema aviva la esperanza de que los pilotos automáticos finalmente puedan repeler este tipo de ataque: las imágenes proyectadas sobre superficies que no son adecuadas para mostrar imágenes son muy diferentes de la realidad. La distorsión de la perspectiva, los bordes irregulares, los colores poco naturales, el contraste extremo y otras rarezas hacen que estas imágenes fantasmas sean muy fáciles de distinguir para el ojo humano de los objetos reales.
Dicho esto, la vulnerabilidad del piloto automático a los ataques fantasmas es una consecuencia de la brecha de percepción entre la IA y el cerebro humano. Para superar la brecha, los autores del estudio proponen reconfigurar los sistemas del piloto automático de los coches con controles adicionales de coherencia en características como la perspectiva, la suavidad de los bordes, el color, el contraste y el brillo, y garantizar que los resultados sean consistentes antes de tomar cualquier decisión. Como un jurado humano, las redes neuronales deliberarán sobre los parámetros que ayudan a distinguir las señales reales de una cámara o lidar de un fantasma fugaz.
Por supuesto, esto aumentaría la carga computacional de los sistemas y conduciría con eficacia al funcionamiento en paralelo de varias redes neuronales a la vez, todas necesariamente entrenadas (un proceso largo y que consume mucha energía). Y los coches, que ya están formados por pequeños ordenadores sobre ruedas, tendrán que convertirse en pequeños grupos de superordenadores sobre ruedas.
A medida que los aceleradores de IA se generalizan, los automóviles pueden transportar varias redes neuronales a bordo, trabajando en paralelo y sin consumir energía. Pero este tema mejor lo dejamos para otro día.
Consejos