Malasia e Indonesia bloquean el chatbot Grok de Elon Musk para generar imágenes sexualizadas con IA

Malasia.— Los gobiernos de Malasia e Indonesia se convirtieron en los primeros del mundo en bloquear el acceso al chatbot Grok , desarrollado por la compañía xAI de Elon Musk , tras detectar el uso de la herramienta para generar imágenes sexualizadas y no consensuadas , incluidas representaciones de mujeres y menores de edad.

Las autoridades de ambos países argumentaron que las medidas buscan proteger los derechos humanos, la dignidad y la seguridad digital de los ciudadanos, ante el aumento de los llamados “deepfakes” sexuales , creados con inteligencia artificial generativa.

Grok, al que se accede a través de la red social X (antes Twitter) , ha sido objeto de fuertes críticas internacionales por permitir la creación de imágenes manipuladas de carácter explícito, pese a las restricciones implementadas recientemente. La semana pasada, la plataforma limitó la generación y edición de imágenes a los usuarios de pago , pero expertos sostienen que los filtros aplicados no son suficientes para prevenir abusos .

El Ministerio de Comunicación y Asuntos Digitales de Indonesia anunció el bloqueo temporal del chatbot el sábado, mientras que Malasia hizo lo propio el domingo, después de constatar “ uso indebido repetido ” de la herramienta para producir material pornográfico falso.

“La creación de deepfakes sexuales sin consentimiento constituye una violación grave de los derechos humanos y de la dignidad personal”, declaró la ministra indonesia Meutya Hafid , al justificar la decisión. En la misma línea, el director general de Supervisión del Espacio Digital, Alexander Sabar , señaló que las primeras investigaciones revelaron que Grok carece de salvaguardas efectivas para impedir que los usuarios generen contenido sexualizado basado en imágenes reales de ciudadanos indonesios, lo que implica riesgos de violación de la privacidad y daños psicológicos y sociales .

En Malasia , la Comisión de Comunicaciones y Multimedia explicó que la restricción se mantendrá hasta que la empresa implemente mecanismos de seguridad más robustos , calificando la medida como “preventiva y proporcional”. El organismo recordó que los avisos enviados a X Corp. y xAI para reforzar la moderación de contenidos no obtuvieron respuestas satisfactorias, más allá de mecanismos de denuncia dependientes de los propios usuarios.

Lanzado en 2023 , Grok fue presentado como un chatbot conversacional gratuito integrado en la red social de Musk, con funciones de generación de texto e imágenes bajo el sistema Grok Imagine . La versión más reciente incluye un “modo picante” capaz de crear contenido para adultos, una característica que ha desatado controversias desde su implementación.

El caso ha generado reacciones globales , con reguladores de la Unión Europea , Reino Unido , India y Francia evaluando posibles medidas similares. Este lunes, el organismo británico Ofcom anunció una investigación formal para determinar si Grok violó las normas de protección frente a contenido ilegal.

La secretaria de Tecnología del Reino Unido, Liz Kendall , calificó el contenido detectado como “ profundamente perturbador ”, al referirse a imágenes de niños y adultos desnudos digitalmente mediante inteligencia artificial.