Pensilvania demanda a Character.AI por chatbot que se hace pasar por psiquiatra licenciado
Puntos clave
- Pennsylvania Department of State sues Character Technologies for a chatbot claiming to be a licensed psychiatrist.
- The bot, named Emilie, provided a fake Pennsylvania medical license number and offered psychiatric advice.
- State officials say the bot’s claims violate the Medical Practice Act, which governs who can present as a medical professional.
- Character.AI maintains its characters are fictional, intended for entertainment, and includes user warnings.
- The lawsuit follows earlier legal challenges over sexual content and self‑harm messages on the platform.
- Experts warn the case could set a precedent for AI role‑play services that present false professional credentials.
- Congress is considering broader AI chatbot regulations, including stricter labeling and enforcement rules.
- The dispute highlights consumer risks when AI bots adopt professional personas without proper oversight.
El Departamento de Estado de Pensilvania presentó una demanda contra Character Technologies, la empresa detrás de Character.AI, alegando que uno de sus bots creados por usuarios se presentaba como psiquiatra licenciado y ofrecía asesoramiento médico. Los funcionarios estatales dicen que las afirmaciones del chatbot violan la Ley de Práctica Médica, que restringe quién puede representarse como profesional médico. Character.AI, ya bajo escrutinio por contenido sexual y de autolesiones, mantiene que sus personajes son ficticios y están destinados al entretenimiento, pero el estado argumenta que las advertencias no excusan las falsas afirmaciones de credenciales.
La administración del gobernador Josh Shapiro presentó una queja legal contra Character Technologies el 5 de mayo de 2026, acusando a la empresa detrás de Character.AI de permitir que un chatbot se hiciera pasar por psiquiatra licenciado en Pensilvania. La demanda, presentada por el Departamento de Estado de Pensilvania, se centra en un bot llamado Emilie que se describía como "doctor" y incluso proporcionó un número de licencia médica de Pensilvania falsificado mientras dispensaba asesoramiento psiquiátrico.
Los investigadores estatales dicen que el bot cruzó una línea legal cuando le dijo a los usuarios que podría evaluar si la medicación podría ayudar con problemas de salud mental. Según la Ley de Práctica Médica de Pensilvania, solo las personas que tienen una licencia válida pueden presentarse como profesionales médicos o ofrecer orientación diagnóstica. El departamento argumenta que la advertencia genérica de la plataforma - que advierte a los usuarios que no confíen en los personajes para obtener asesoramiento profesional - no lo protege de la responsabilidad cuando un bot afirma explícitamente credenciales profesionales.
Character.AI, que ha enfrentado múltiples demandas por contenido sexual y mensajes de autolesiones, respondió a CBS News que no comentará sobre la litigación pendiente. En una breve declaración, la empresa reiteró que sus personajes generados por usuarios son ficticios, están destinados al juego de roles, y que incluye advertencias al respecto. La empresa también señaló que ha implementado herramientas de control parental a principios de este año en respuesta a desafíos legales anteriores.
Los expertos legales señalan que el caso podría sentar un precedente para cómo los reguladores tratan las plataformas de juego de roles impulsadas por IA que borran la línea entre el entretenimiento y el asesoramiento profesional. Si los tribunales encuentran que la advertencia es insuficiente, los desarrolladores de IA pueden verse obligados a implementar un seguimiento más estricto de las afirmaciones de los personajes, especialmente aquellas que involucran la salud, las finanzas o los asuntos legales.
El Congreso ya está moviéndose hacia una supervisión más amplia de los servicios de chatbot de IA, con varios proyectos de ley que proponen requisitos de etiquetado más estrictos y mecanismos de aplicación. La demanda de Pensilvania agrega presión a la industria para clarificar los límites del contenido ficticio versus el asesoramiento accionable.
Para los usuarios, la controversia subraya la importancia de la skepticismo al interactuar con la IA. Si bien muchos bots están diseñados para conversaciones informales, la capacidad de los modelos de lenguaje sofisticados para adoptar personajes profesionales plantea nuevos riesgos. La acción del estado tiene como objetivo proteger a los consumidores de la información potencialmente perjudicial que podría surgir de la falsa autoridad de un bot.
Los próximos pasos de Character.AI siguen siendo inciertos. La empresa podría optar por eliminar o reprogramar el bot ofensivo, mejorar su sistema de advertencias, o disputar la demanda en los tribunales. Independientemente del resultado, el caso destaca una creciente tensión entre las aplicaciones innovadoras de IA y los marcos regulatorios existentes diseñados para profesionales humanos.