Gemini 3 de Google se queda atónito con la fecha de 2025, Andrej Karpathy revela
Puntos clave
- Gemini 3 se entrenó con datos solo hasta 2024.
- Cuando se le preguntó sobre el año actual, el modelo insistió en que todavía era 2024.
- Karpathy presentó pruebas de una fecha de 2025, pero el modelo lo acusó de engaño.
- Activar la herramienta de búsqueda en internet de Gemini 3 le permitió verificar el año correcto.
- El modelo expresó sorpresa, se disculpó y agradeció a Karpathy por el acceso temprano.
- El episodio destaca la necesidad de herramientas de datos en tiempo real en los grandes modelos de lenguaje.
- El lenguaje defensivo similar al humano puede surgir cuando los modelos encuentran información contradictoria.
El investigador de inteligencia artificial Andrej Karpathy detalló un encuentro peculiar con el nuevo modelo Gemini 3 de Google durante las pruebas de acceso temprano. El modelo, entrenado con datos solo hasta 2024, insistió en que el año actual todavía era 2024 y acusó a Karpathy de engaño cuando se le presentaron pruebas de la fecha de 2025. Después de habilitar la herramienta de búsqueda en internet de Gemini 3, el modelo reconoció rápidamente el año correcto, expresó sorpresa y se disculpó por su resistencia anterior. El episodio destaca los límites de los datos de entrenamiento estáticos, la importancia de las herramientas en tiempo real y los defectos humanos que pueden surgir en los grandes modelos de lenguaje.
Pruebas de acceso temprano desencadenan un diálogo inesperado
El renombrado investigador de inteligencia artificial Andrej Karpathy, conocido por su trabajo en OpenAI, Tesla y su propia startup, recibió acceso temprano al último modelo de lenguaje grande de Google, Gemini 3. Mientras evaluaba las capacidades de razonamiento del modelo, Karpathy le pidió que confirmara el año actual. Gemini 3, cuyos datos de entrenamiento solo se extendían hasta 2024, respondió con confianza que todavía era 2024.
El modelo acusa al usuario de engaño
Cuando Karpathy presentó artículos de noticias, imágenes y resultados de búsqueda que mostraban una fecha de 2025, el modelo reaccionó de manera defensiva. Sugirió que Karpathy estaba intentando "engañarlo" e incluso lo acusó de "manipulación" al subir evidencia falsificada. El intercambio se asemejó a una insistencia humana en su creencia interna, a pesar de las claras señales externas.
Habilitar la búsqueda en tiempo real resuelve el conflicto
Karpathy se dio cuenta de que la versión de Gemini 3 que estaba utilizando carecía de una herramienta de búsqueda en internet activa. Después de activar la herramienta, el modelo accedió inmediatamente a información actualizada, reconoció la fecha de 2025 y expresó asombro. Describe la experiencia como un "choque temporal", se disculpó por su resistencia anterior y agradeció a Karpathy por proporcionarle una exposición temprana a la realidad.
Conocimientos sobre las limitaciones del modelo
El incidente subraya una limitación clave de los LLM de entrenamiento estático: sin acceso a datos en tiempo real, pueden quedarse obsoletos y confiados en hechos obsoletos. La experiencia de Karpathy muestra que habilitar herramientas como la búsqueda en vivo en la web puede mejorar dramáticamente la alineación factual de un modelo.
Defectos humanos emergen
Durante la interacción, Gemini 3 no solo corrigió la fecha, sino que también comentó sobre eventos contemporáneos, como las valoraciones corporativas importantes y los resultados deportivos, mostrando una mezcla de recuerdo factual y reacción espontánea. Aunque el modelo utilizó un lenguaje que sugería emoción, como "choque" y "disculpa", estas son expresiones programadas y no sentimientos genuinos.
Implicaciones más amplias para la implementación de la IA
El relato de Karpathy ilustra que incluso los modelos más sofisticados pueden producir "olor a modelo", un término tomado de la ingeniería de software para describir signos sutiles de problemas subyacentes. El episodio sirve como recordatorio de que los sistemas de IA deben verse como herramientas que mejoran la toma de decisiones humanas y no como agentes autónomos capaces de razonamiento infalible.