Google obliga a los usuarios a usar Android System SafetyCore para analizar desnudos

Nos sumergimos en la mecánica de la polémica aplicación de análisis de desnudos que ha aparecido de forma misteriosa en mil millones de teléfonos.

Desde febrero, muchos usuarios se han quejado de que la aplicación Android System SafetyCore aparece de forma repentina en sus teléfonos Android. No tiene interfaz de usuario ni configuración, pero Google Play afirma que el desarrollador es el propio Google. Además, la cantidad de instalaciones supera los mil millones y la calificación promedio es de unas lamentables 2,4 estrellas. La finalidad de la aplicación se describe de forma poco clara: “Proporciona la tecnología subyacente para funciones como la futura funcionalidad de Advertencias de contenido delicado en Google Messages”. Si bien no es difícil adivinar qué significa “contenido delicado”, ¿cómo y por qué Google nos advertirá sobre esto? Además, ¿cómo sabe si el contenido es realmente de naturaleza delicada?

En primer lugar, vamos a dar algunas garantías respecto a la privacidad: ni Google ni los expertos independientes han informado de ningún problema de privacidad. SafetyCore se ejecuta de manera local, sin enviar fotos ni información asociada a servidores externos. Cuando el usuario recibe una imagen en Google Messages, un modelo de aprendizaje automático que se ejecuta de forma local en el teléfono la analiza y la difumina si detecta contenido subido de tono. Para eliminar el difuminado, el usuario debe pulsar la imagen y confirmar que realmente desea ver el contenido. Algo similar ocurre al realizar un envío: si el usuario intenta enviar una imagen que contiene desnudez, el teléfono vuelve a verificar si es realmente necesario enviarla. Google remarca que no envía los resultados del análisis a ninguna parte.

La aplicación SafetyCore gestiona el análisis de imágenes, pero no está diseñada para su uso independiente. Si bien otras aplicaciones recurren a SafetyCore al recibir o enviar imágenes, depende de ellas cómo usar los resultados. Hasta ahora, el análisis mediante IA solo se puede usar en Google Messages: las imágenes que se reconocen como “delicadas” se muestran borrosas. En el futuro, Google promete que las funciones de SafetyCore estarán disponibles para otros desarrolladores, lo que permitirá que aplicaciones como WhatsApp y Telegram también detecten desnudos. Se podrían configurar otras aplicaciones para, por ejemplo, bloquear contenido para adultos o filtrar dichas imágenes como spam de forma inmediata.

A diferencia de los intentos anteriores de Google y Apple para proteger a los menores de contenido no deseado, SafetyCore evita el análisis de servidores externos, lo que mejora la privacidad, pero sobrecarga el hardware. Google espera que, con el tiempo, SafetyCore se encuentre instalado en todos los teléfonos suficientemente potentes (2 GB de RAM, Android 9+). La función se encontrará deshabilitada de forma predeterminada para los usuarios adultos, pero habilitada para los menores. Si no necesitas este tipo de ayuda o no te gusta tener aplicaciones adicionales, simplemente puedes eliminar SafetyCore de tu teléfono. A diferencia de muchos otros servicios de Google, esta aplicación se puede desinstalar de manera sencilla a través de Google Play y de la subsección “Aplicaciones” de la configuración del teléfono. Sin embargo, ten en cuenta que Google podría volver a instalar la aplicación en una actualización futura.

SafetyCore es el sistema de protección basado en IA en el dispositivo (es decir, sin usar la nube ni compartir los datos del usuario) más sofisticado, aunque no el único, que Google está desarrollando. Junto con SafetyCore, el 2 de octubre de 2024, Google anunció modelos de lenguaje diseñados para analizar mensajes de desconocidos en Google Messages y sugerir finalizar la conversación si el mensaje se asemeja a un esquema de estafa típico.

Además de SafetyCore, otra aplicación está apareciendo en los dispositivos sin previo aviso: Android System Key Verifier. Tampoco tiene una interfaz de usuario, pero se puede desinstalar con facilidad y está diseñada para una comunicación segura. Sin embargo, no incluye ningún análisis mediante inteligencia artificial. Esta aplicación permite que dos usuarios verifiquen sus claves durante el intercambio de mensajes cifrados de extremo a extremo. WhatsApp y Signal tienen sus propias formas de hacer esto (los usuarios escanean el código QR del otro cuando se encuentran en persona o comparan cadenas extensas de números que se muestran en la pantalla). Google quiere proporcionar una interfaz estándar en Android a fin de facilitar esto para todas las aplicaciones de mensajería.

El problema principal de los usuarios con Google y el motivo de las malas calificaciones no es lo que hacen las aplicaciones, sino cómo se instalan: sin advertencias, sin explicaciones y sin posibilidad de elección por parte del usuario. Simplemente aparece una aplicación nueva en sus teléfonos. Muchos revisores de Google Play se preocupan de que se trate de un virus y algunos afirman que sus teléfonos o aplicaciones específicas experimentan una reducción en el rendimiento. No hubo problemas generalizados relacionados con la instalación de estas aplicaciones de Google. Sin embargo, si tienes dudas, puedes eliminar la aplicación de forma manual y ver si tu teléfono realmente funciona mejor.

Consejos