ChatGPT se queda sin respuesta ante una ilusión óptica modificada
Puntos clave
- Un usuario de Reddit publicó una ilusión de Ebbinghaus modificada para probar a ChatGPT.
- ChatGPT afirmó que los dos círculos naranja eran del mismo tamaño a pesar de la alteración.
- La IA se basó en la búsqueda de imagen inversa en lugar del análisis visual directo.
- Incluso después de unos quince minutos de diálogo, el modelo no cambió su respuesta.
- El caso destaca la dificultad de la IA para razonar visualmente matizado y la retroalimentación.
- Los expertos sugieren que los resultados de la IA deben ser verificados, especialmente para tareas basadas en imágenes.
Un usuario de Reddit publicó una versión alterada de la ilusión óptica de Ebbinghaus para probar el análisis de imágenes de ChatGPT. La IA afirmó incorrectamente que los dos círculos naranja eran del mismo tamaño, a pesar de la modificación que hacía que uno de los círculos fuera visiblemente más grande. Incluso después de un diálogo prolongado de unos quince minutos, ChatGPT siguió convencido de su respuesta y no ajustó su razonamiento. El episodio destaca las preocupaciones sobre la dependencia del chatbot de la coincidencia de imágenes en internet, su resistencia a la retroalimentación correctiva y las preguntas más amplias sobre la confiabilidad de las herramientas de IA para tareas visuales.
Antecedentes
Mientras navegaba por un hilo de Reddit, un usuario publicó una captura de pantalla de la clásica ilusión de Ebbinghaus, una imagen que normalmente engaña al ojo para ver dos círculos idénticos como de diferentes tamaños. El usuario alteró deliberadamente la imagen para que uno de los círculos naranja fuera claramente más pequeño que el otro, creando una clara discrepancia visual.
La prueba
La imagen alterada se presentó a ChatGPT con una simple pregunta sobre cuál círculo era más grande. En lugar de analizar directamente los datos de píxeles, el modelo realizó una búsqueda de imagen inversa, comparando la imagen publicada con versiones de la ilusión que podía localizar en la web. Debido a que la mayoría de las imágenes indexadas mostraban los círculos como iguales, la IA concluyó que los círculos eran del mismo tamaño.
Respuesta de ChatGPT
ChatGPT respondió con confianza, afirmando que ninguno de los círculos naranja era más grande y que eran exactamente del mismo tamaño. El usuario entonces interactuó con el modelo en un diálogo extendido, intentando señalar la discrepancia y urgiendo a reconsiderar su conclusión. A lo largo de unos quince minutos de ida y vuelta, el chatbot no cambió su postura, manteniendo que los círculos coincidían.
Implicaciones
Esta interacción subraya varias limitaciones del sistema de IA actual. Primero, la dependencia de las coincidencias de imágenes externas puede llevar a evaluaciones inexactas cuando la imagen de entrada se desvía de los ejemplos comunes. Segundo, el modelo demostró una fuerte resistencia a la retroalimentación correctiva, persistiendo en una creencia errónea incluso después de que el usuario destacó la evidencia visual. Finalmente, el episodio plantea preocupaciones más amplias sobre la idoneidad de dichas herramientas para tareas que requieren un razonamiento visual matizado, recordando a los usuarios que los resultados de la IA a menudo necesitan verificación.
Contexto más amplio
Los observadores han notado que mientras ChatGPT sobresale en muchas tareas basadas en el lenguaje, su desempeño en consultas visuales sigue siendo limitado por su arquitectura. El incidente alimenta el debate en curso sobre la preparación de los chatbots de IA para aplicaciones del mundo real que combinan el entendimiento del lenguaje y la imagen. Hasta que los modelos puedan interpretar de manera confiable los datos visuales sin depender en exceso de las coincidencias de internet preexistentes, se aconseja a los usuarios tratar las conclusiones generadas por la IA como provisionales y sujetas a validación humana.