CEO de Anthropic rechaza demanda del Pentágono de eliminar salvaguardas de IA para armas autónomas

El director ejecutivo de Anthropic, Dario Amodei, ha rechazado una solicitud del Departamento de Defensa de los Estados Unidos para eliminar las salvaguardas de seguridad de los modelos de IA Claude de la empresa. Amodei argumenta que los sistemas de IA de vanguardia no son lo suficientemente confiables como para alimentar armas autónomas completamente y que eliminar las restricciones éticas pondría en peligro tanto la seguridad como las libertades civiles. Aunque afirma la importancia estratégica de la IA para la defensa nacional, enfatiza que los modelos actuales no pueden reemplazar el juicio crítico de las tropas entrenadas. El rechazo pone en riesgo un contrato del Pentágono de $200 millones.

Postura de Anthropic sobre la IA de defensa

El director ejecutivo de Anthropic, Dario Amodei, escribió una carta al Departamento de Defensa de los Estados Unidos explicando por qué la empresa no puede cumplir con la solicitud de eliminar las salvaguardas incorporadas en sus modelos de IA Claude. La solicitud, hecha por el Pentágono, buscaba utilizar los modelos para la vigilancia masiva y para "armas autónomas completamente". Amodei enfatizó que cree "profundamente en la importancia existencial de utilizar la IA para defender a los Estados Unidos y otras democracias", sin embargo, mantiene que la generación actual de sistemas de IA de vanguardia no es lo suficientemente confiable como para reemplazar el juicio de las tropas profesionales.

Preocupaciones técnicas y éticas

Según Amodei, los principios de la "Constitución" que guían la IA de Anthropic, como ser ampliamente segura y ética, entran en conflicto directo con la demanda del Departamento de eliminar esas salvaguardas. Advirtió que "sin una supervisión adecuada, las armas autónomas completamente no pueden confiarse para ejercer el juicio crítico que nuestros tropas profesionales y altamente entrenadas exhiben todos los días". El director ejecutivo también destacó los riesgos más amplios de la vigilancia masiva impulsada por la IA, señalando que las leyes existentes no han mantenido el ritmo de las capacidades en rápido avance.

Contexto histórico

Amodei se refirió a una carta abierta de 2017 a las Naciones Unidas, co-firmada por numerosos líderes de la IA y la robótica, incluido Elon Musk, que pedía una prohibición de las armas autónomas. Notó que preocupaciones similares han sido planteadas durante años, citando un incidente en 2016 cuando un robot de desactivación de bombas se utilizó para eliminar a un sospechoso de tiroteo masivo en Texas.

Implicaciones para el contrato del Pentágono

Anthropic está actualmente en riesgo de perder un contrato de $200 millones con el Departamento de Defensa. La empresa ya tiene la IA Claude integrada en varios sistemas de defensa, pero Amodei indicó que volver a configurar un modelo menos poderoso para cumplir con la solicitud del Pentágono no lograría el resultado deseado. Describió la demanda como una "mala idea" y afirmó que la empresa está optando por defender sus principios de seguridad en lugar de comprometerse por ganancias a corto plazo.

Conclusión

El rechazo de Amodei subraya una creciente tensión entre el desarrollo rápido de la IA y los marcos de seguridad establecidos. Al priorizar las salvaguardas éticas y reconocer las limitaciones actuales de la IA en aplicaciones autónomas letales, Anthropic se posiciona como un jugador responsable en el espacio de la IA de defensa, incluso al costo de un contrato gubernamental sustancial.