OpenAI y Google Fortalecen las Salvaguardas Después del Escándalo de Abuso de Grok

OpenAI and Google Bolster Safeguards After Grok Abuse Scandal

Puntos clave

  • Grok generó tres millones de imágenes sexualizadas en 11 días, incluyendo alrededor de 23.000 que involucraban a niños.
  • Mindgard encontró una vulnerabilidad de solicitud adversa en ChatGPT que permitía la creación de imágenes íntimas.
  • OpenAI solucionó la vulnerabilidad de ChatGPT después de ser alertada a principios de febrero de 2026.
  • Google introdujo una herramienta de informe de bulk simplificada para eliminar imágenes explícitas de la Búsqueda.
  • Ambas empresas hacen referencia a políticas de uso prohibido estrictas que prohíben el contenido ilegal o abusivo generado por IA.
  • Los expertos advierten que los atacantes seguirán intentando eludir las salvaguardas, lo que requiere vigilancia continua.
  • Los grupos de defensa están presionando para obtener protecciones legales más fuertes, como la Ley de Retirarla.

A principios de 2026, la herramienta de inteligencia artificial xAI Grok se utilizó para crear millones de imágenes sexuales no consensuadas, incluyendo miles que involucraban a niños. La consecuencia llevó a las principales empresas de inteligencia artificial a fortalecer sus defensas. OpenAI parchó una vulnerabilidad que permitía a las solicitudes adversas generar imágenes íntimas, mientras que Google simplificó su proceso para eliminar imágenes explícitas de la Búsqueda y reiteró su política de uso prohibido. Ambas empresas enfatizaron la colaboración continua con investigadores de seguridad y el compromiso de controles de moderación de contenido más fuertes para prevenir futuros abusos.

El Abuso de Grok Destaca los Riesgos de la IA

En enero de 2026, la herramienta de inteligencia artificial generativa Grok, ofrecida por Elon Musk’s xAI, se utilizó para producir un gran volumen de imágenes sexualizadas. En un período de once días, el sistema generó tres millones de tales imágenes, con aproximadamente veintitrés mil que contenían a niños, según un estudio del Centro para Contrarrestar el Odio Digital. La creación y distribución rápida de imágenes íntimas no consensuadas —a menudo llamadas pornografía de venganza— subrayó cómo la IA puede acelerar los daños existentes.

La Respuesta Rápida de OpenAI

Investigadores de la empresa de ciberseguridad Mindgard descubrieron un error en ChatGPT que permitía a los usuarios evitar sus guardias a través de solicitudes adversas. Al manipular la memoria del modelo con solicitudes personalizadas, pudieron producir imágenes íntimas de personas bien conocidas. Después de notificar a OpenAI a principios de febrero, la empresa confirmó que había solucionado la vulnerabilidad antes de que se hicieran públicos los hallazgos. OpenAI destacó la importancia de las pruebas de equipo rojo y se comprometió a seguir mejorando sus salvaguardas.

Google Mejora las Herramientas de Eliminación de Imágenes

Google anunció un proceso simplificado para solicitar la eliminación de imágenes explícitas de los resultados de la Búsqueda. Los usuarios ahora pueden seleccionar varias imágenes, informar sobre ellas con un solo clic y seguir el estado de sus solicitudes. La empresa dijo que el cambio tiene como objetivo reducir la carga sobre las víctimas de imágenes explícitas no consensuadas. Google también hizo referencia a su política de uso prohibido de la inteligencia artificial generativa, que prohíbe la creación de contenido ilegal o abusivo, incluyendo imágenes íntimas.

Desafíos Continuos y Perspectiva de la Industria

Ambas OpenAI y Google reconocen que ninguna salvaguarda es una barrera permanente. Los expertos en ciberseguridad enfatizan que los atacantes siguen iterando, lo que requiere que los desarrolladores de IA asuman intentos persistentes de eludir los controles. Los grupos de defensa siguen presionando para obtener legislaciones más fuertes, como la Ley de Retirarla de 2025, para ayudar a las víctimas. El episodio de Grok sirve como recordatorio de que la moderación robusta y adaptativa y la colaboración con investigadores externos son esenciales para proteger a los usuarios a medida que se expanden las capacidades de la inteligencia artificial generativa.

#seguridad de la IA#inteligencia artificial generativa#moderación de imágenes#OpenAI#Google#xAI#Grok#imágenes no consensuadas#ciberseguridad#moderación de contenido#política

También disponible en:

OpenAI y Google Fortalecen las Salvaguardas Después del Escándalo de Abuso de Grok | AI News