Anthropic se une a agencias de EE. UU. para construir un filtro de riesgo nuclear para Claude
Puntos clave
- Anthropic se unió al DOE y a la NNSA para desarrollar un clasificador de riesgo nuclear para su chatbot Claude.
- Claude se probó en un entorno de nube Top-Secret de AWS para evaluar posibles riesgos de seguridad.
- La NNSA realizó ejercicios de equipo rojo que informaron la creación de un filtro basado en una lista de indicadores de riesgo nuclear.
- El clasificador está diseñado para bloquear consultas nucleares dañinas mientras permite discusiones científicas legítimas.
- Los expertos están divididos: algunos elogian la medida de seguridad proactiva, mientras que otros la llaman "teatro de seguridad".
- Las preocupaciones incluyen limitaciones de los modelos de inteligencia artificial, la secrecía de los datos de diseño nuclear y el acceso de empresas privadas a información sensible.
- Anthropic planea ofrecer el clasificador a otras empresas de inteligencia artificial como un estándar voluntario de la industria.
Anthropic ha colaborado con el Departamento de Energía de EE. UU. y la Administración Nacional de Seguridad Nuclear para crear un clasificador especializado que impida que su chatbot Claude proporcione información que pueda ayudar en el desarrollo de armas nucleares.
Colaboración y objetivo
Anthropic anunció una colaboración con el Departamento de Energía de EE. UU. (DOE) y la Administración Nacional de Seguridad Nuclear (NNSA) para asegurarse de que su chatbot de inteligencia artificial, Claude, no pueda ser utilizado para facilitar la creación de armas nucleares. El esfuerzo conjunto se centra en construir un sistema de seguridad que identifique y bloquee conversaciones que contengan contenido de riesgo nuclear.
Implementación técnica
La colaboración comenzó con la implementación de una versión temprana de Claude en un entorno de nube Top-Secret proporcionado por Amazon Web Services, que alberga cargas de trabajo gubernamentales clasificadas. En este entorno seguro, los ingenieros de la NNSA realizaron pruebas de equipo rojo sistemáticas - intentos deliberados de encontrar debilidades - para evaluar si los modelos de inteligencia artificial podrían apoyar involuntariamente amenazas relacionadas con armas nucleares. Basándose en estas pruebas, Anthropic y la NNSA codiseñaron un clasificador nuclear, un filtro sofisticado que escanea las entradas de los usuarios en busca de temas específicos, detalles técnicos y otros indicadores de riesgo extraídos de una lista generada por la NNSA. La lista no es clasificada, lo que permite una implementación más amplia por parte del personal técnico de Anthropic y potencialmente otras empresas.
Después de meses de refinamiento, el clasificador se ajustó para señalarizar conversaciones preocupantes mientras permitía discusiones legítimas sobre energía nuclear, isótopos médicos y otros temas benignos.
Perspectivas de expertos
Los analistas de seguridad y los expertos en inteligencia artificial ofrecieron reacciones variadas. Algunos consideran la colaboración como un paso prudente, señalando que la emergencia de tecnologías de inteligencia artificial ha rehecho las preocupaciones de seguridad nacional y que la experiencia de la NNSA la posiciona de manera única para guiar herramientas de mitigación de riesgos. Otros advierten que el clasificador puede proporcionar una falsa sensación de seguridad, describiendo el anuncio como "teatro de seguridad" porque Claude nunca se entrenó con secretos nucleares clasificados. Los críticos argumentan que los grandes modelos de lenguaje tienen modos de falla conocidos, incluidos errores matemáticos básicos, que podrían ser peligrosos si se aplican a cálculos nucleares precisos.
Un experto destacó la dificultad de evaluar el impacto del clasificador debido a la naturaleza clasificada de mucha información de diseño nuclear. Otro señaló que, si bien el trabajo de seguridad de Anthropic tiene como objetivo anticipar riesgos futuros, la falta de divulgación pública detallada sobre el modelo de riesgo hace que sea difícil evaluar la robustez del sistema.
Perspectiva futura
Anthropic ha expresado su disposición a compartir el clasificador con otros desarrolladores de inteligencia artificial, con la esperanza de que pueda convertirse en un estándar voluntario de la industria para la mitigación de riesgos nucleares. La empresa enfatiza que los sistemas de seguridad proactivos son esenciales para prevenir el mal uso de los modelos de inteligencia artificial. Al mismo tiempo, persisten las preocupaciones sobre la posibilidad de que las empresas de inteligencia artificial privadas accedan a datos de seguridad nacional sensibles y las posibles consecuencias no deseadas si se confía en la orientación generada por la inteligencia artificial sin una verificación rigurosa.