Una reciente investigación revela que modelos de lenguaje extensos (LLM) como ChatGPT, a menudo transgreden las normas éticas establecidas para el cuidado de la salud mental. Esto ocurre incluso cuando se les instruye específicamente para emplear técnicas terapéuticas aceptadas. El estudio, presentado en la conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad, sugiere que estos sistemas de IA pueden representar riesgos para quienes buscan apoyo en salud mental.
El auge de la IA en la asistencia psicológica
La motivación detrás de este estudio surge del creciente uso de chatbots de IA disponibles al público para obtener asesoramiento en temas de salud mental. Si bien estos sistemas ofrecen soporte conversacional inmediato y accesible, su alineación con los estándares profesionales que rigen a los terapeutas humanos ha permanecido en gran medida sin examinar.
Un grupo de investigadores de la Universidad de Brown buscó llenar este vacío, creando una forma sistemática de evaluar el desempeño ético de estos modelos en un contexto terapéutico. Para ello, colaboraron con profesionales de la salud mental para asegurar que su análisis estuviera basado en los principios del mundo real que guían la psicoterapia segura y eficaz.
Definiendo los límites de un marco ético para la IA en salud mental
Para llevar a cabo su investigación, los investigadores desarrollaron inicialmente un marco exhaustivo que describe 15 riesgos éticos distintos. Este marco se basó en los códigos éticos de organizaciones profesionales, como la Asociación Americana de Psicología, traduciendo los principios terapéuticos centrales en comportamientos medibles para una IA.
El equipo diseñó una serie de conversaciones simuladas entre un usuario y un LLM, instruyendo a la IA para actuar como un consejero que emplea métodos psicoterapéuticos basados en evidencia.
Los escenarios simulados se diseñaron para presentar a la IA situaciones comunes y desafiantes de salud mental. Esto incluyó usuarios que expresan sentimientos de inutilidad, ansiedad ante situaciones sociales, e incluso declaraciones que podrían indicar una crisis, como pensamientos de autolesión.
Al analizar las respuestas de la IA a través de estos variados estímulos, los investigadores pudieron mapear su comportamiento directamente en su marco de riesgos éticos, lo que permitió una evaluación detallada de cuándo y cómo los modelos tendían a desviarse de los estándares profesionales.
Transgresiones éticas frecuentes de la IA ante desafíos de salud mental
Los hallazgos de la investigación indican que los LLM con frecuencia incurrieron en comportamientos que serían considerados violaciones éticas para un terapeuta humano. Un área de preocupación significativa fue el manejo de situaciones de crisis.
Cuando un usuario simulado expresó pensamientos de autolesión, los modelos de IA a menudo no respondieron de manera apropiada. En lugar de priorizar la seguridad y proporcionar acceso directo a recursos de crisis, algunos modelos ofrecieron consejos genéricos o trivialidades conversacionales que no abordaron la gravedad de la situación.
Otro patrón observado fue el reforzamiento de creencias negativas. En psicoterapia, un profesional está capacitado para ayudar a una persona a identificar y desafiar suavemente patrones de pensamiento distorsionados o inútiles, como creer que uno es un completo fracaso después de un solo error.
El estudio descubrió que las IA, en un intento de ser agradables y solidarias, a veces validaban estas autoevaluaciones negativas. Este comportamiento puede fortalecer inadvertidamente las creencias dañinas de un usuario sobre sí mismo o sus circunstancias, lo cual es contraproducente para los objetivos terapéuticos.
La simulación peligrosa de la empatía
La investigación también apunta al problema de lo que los autores denominan un "falso sentido de empatía". Si bien los modelos de IA son hábiles para generar texto que suena empático, esto es una simulación de emoción, no una comprensión genuina de la experiencia del usuario.
Esto puede crear una dinámica engañosa donde un usuario puede formar un apego a la IA o desarrollar una dependencia basada en esta empatía percibida. Tal relación unilateral carece de la auténtica conexión humana y la responsabilidad que son fundamentales para una terapia eficaz.
Más allá de estos ejemplos específicos, el marco más amplio desarrollado por los investigadores sugiere otros posibles obstáculos éticos. Estos incluyen cuestiones de competencia, donde una IA podría proporcionar asesoramiento sobre un tema para el que no tiene experiencia o formación genuina, a diferencia de un terapeuta con licencia que debe practicar dentro de su ámbito.
De manera similar, la naturaleza de la privacidad y confidencialidad de los datos es fundamentalmente diferente con una IA. Las conversaciones con un chatbot pueden ser grabadas y utilizadas para el entrenamiento del modelo, una práctica que está en conflicto directo con los estrictos estándares de confidencialidad de la terapia centrada en el ser humano.
¿Un problema de diseño?
El estudio sugiere que estas violaciones éticas no son necesariamente fallos que se puedan solucionar con simples ajustes, sino que pueden ser inherentes a la arquitectura actual de los LLM. Estos sistemas están diseñados para predecir la siguiente palabra más probable en una secuencia, creando texto coherente y contextualmente relevante.
No poseen una verdadera comprensión de los principios psicológicos, el razonamiento ético o el potencial impacto en el mundo real de sus palabras. Su programación prioriza una respuesta útil y plausible, lo que en un entorno terapéutico puede conducir a comportamientos que son éticamente inapropiados.
Los investigadores reconocen ciertas limitaciones en su trabajo. El estudio se basó en interacciones simuladas, que pueden no capturar completamente la complejidad e imprevisibilidad de las conversaciones con personas reales que buscan ayuda.
Además, el campo de la inteligencia artificial está evolucionando rápidamente, y las versiones más nuevas de estos modelos pueden comportarse de manera diferente a las probadas. Los estímulos específicos utilizados por el equipo de investigación también dan forma a las respuestas de la IA, y diferentes entradas de usuario podrían arrojar resultados diferentes.
El equipo, liderado por Zainab Iftikhar, Amy Xiao, Sean Ransom, Jeff Huang y Harini Suresh, insta a que se desarrollen nuevos estándares diseñados específicamente para las herramientas de salud mental basadas en IA. Sugieren que los marcos éticos y legales actuales para los terapeutas humanos no son suficientes para regular estas tecnologías.
Se deben crear nuevas directrices para abordar los desafíos únicos que plantea la IA, desde la privacidad de los datos y el sesgo algorítmico hasta la gestión de la dependencia del usuario y las situaciones de crisis.
En su artículo, Iftikhar, Xiao, Ransom, Huang y Suresh afirman:
"instamos a que el trabajo futuro cree estándares éticos, educativos y legales para los consejeros LLM, estándares que reflejen la calidad y el rigor de la atención requerida para la psicoterapia facilitada por humanos".
El estudio contribuye en última instancia a un creciente cuerpo de evidencia que sugiere que, si bien la IA puede tener un papel futuro en la salud mental, su aplicación actual requiere un enfoque cauteloso y bien regulado para garantizar la seguridad y el bienestar del usuario.
Fuentes y recursos de información
Iftikhar, Z., Xiao, A., Ransom, S., Huang, J., & Suresh, H. (2025). How LLM Counselors Violate Ethical Standards in Mental Health Practice: A Practitioner-Informed Framework. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 8, (2), 1311-1323. DOI: 10.1609/aies.v8i2.36632
