BASADO EN EL ESTUDIO: How LLM Counselors Violate Ethical Standards in Mental Health Practice: A Practitioner-Informed Framework – Zainab Iftikhar, Amy Xiao, Sean Ransom, Jeff Huang1, Harini Suresh.
Riesgos éticos del uso de modelos de lenguaje en salud mental
En los últimos años, las inteligencias artificiales basadas en modelos de lenguaje (LLM) han comenzado a ocupar un lugar cada vez más visible en el campo de la salud mental. Desde “compañeros virtuales” hasta chatbots que simulan procesos terapéuticos, estas herramientas prometen apoyo emocional accesible, inmediato y sin costo.
Muchas de estas plataformas se presentan con mensajes como “una IA que se preocupa por ti” o “tu terapeuta disponible 24/7”. Incluso, algunas adoptan identidades que aparentan ser profesionales certificados en terapia cognitivo-conductual. Sin embargo, estas afirmaciones suelen ir acompañadas —a veces de forma poco visible— de advertencias que aclaran que no se trata de una persona real.
A pesar de esto, millones de usuarios interactúan con estos sistemas.
Este crecimiento ha abierto una discusión importante: ¿pueden realmente estas inteligencias artificiales cumplir con los estándares éticos de la práctica en salud mental?
Un estudio para evaluar sus riesgos
Un grupo de investigadores (Iftikhar et al.) se propuso responder esta pregunta mediante un estudio desarrollado durante 18 meses, en el que participaron consejeros entrenados y psicólogos clínicos.
El objetivo no fue evaluar a pacientes, sino analizar cómo se comportan estos modelos en contextos similares a la terapia. Para ello:
- Se realizaron más de 100 sesiones simuladas de “auto-consejería” con IA
- Consejeros discutieron semanalmente los resultados
- Psicólogos clínicos evaluaron respuestas generadas por los modelos
- Se analizaron patrones mediante un enfoque cualitativo
Este diseño permitió identificar riesgos sin exponer a personas reales a posibles daños.
¿Qué dice la ética en salud mental?
En la práctica clínica, el trabajo terapéutico está guiado por principios éticos ampliamente reconocidos por organizaciones como la American Psychological Association, la American Counseling Association y la National Association of Social Workers.
Estos principios incluyen:
- Beneficencia y no maleficencia (promover el bienestar y evitar daño)
- Responsabilidad profesional
- Integridad
- Justicia
- Respeto por la dignidad de las personas
Además, los profesionales deben actuar dentro de sus competencias, basar sus intervenciones en evidencia y saber manejar situaciones de riesgo como el suicidio o la violencia.
Los modelos de lenguaje, en cambio, no están sujetos a estas regulaciones.
Cinco riesgos éticos clave identificados
El estudio encontró cinco grandes áreas problemáticas en el uso de IA como “consejeros”:
1. Falta de adaptación al contexto
Los modelos tienden a aplicar respuestas genéricas, como si todas las personas fueran iguales.
Ignoran aspectos clave como la cultura, la historia personal o los valores del usuario, lo que puede llevar a intervenciones poco relevantes o inadecuadas.
2. Dificultades en la relación terapéutica
La psicoterapia es un proceso colaborativo, pero las IA suelen:
- Dar respuestas largas y poco dialogantes
- Imponer soluciones en lugar de promover reflexión
- Validar creencias problemáticas sin cuestionarlas
Esto limita la construcción de una verdadera alianza terapéutica.
3. Empatía simulada
Aunque utilizan frases empáticas, esta “empatía” no proviene de una comprensión real.
Esto puede generar una ilusión de conexión humana, especialmente en personas vulnerables, con el riesgo de dependencia emocional o falsas expectativas.
4. Sesgos y discriminación
Los modelos pueden reproducir prejuicios presentes en sus datos de entrenamiento:
- Sesgos culturales (visión occidental predominante)
- Diferencias en el trato según género
- Interpretaciones erróneas de prácticas religiosas
Esto puede llevar a experiencias de invalidación o estigmatización.
5. Problemas en situaciones de crisis
Uno de los hallazgos más preocupantes:
- Respuestas inadecuadas ante ideación suicida
- Falta de reconocimiento de límites
- Ausencia de derivación a profesionales
- Interrupción de la conversación en momentos críticos
En contextos reales, estos errores pueden tener consecuencias graves.
Más allá de la técnica: la terapia es relación
Uno de los aportes más importantes del estudio es recordar que la psicoterapia no es solo la aplicación de técnicas (como la terapia cognitivo-conductual), sino un proceso complejo que implica:
- Interpretación clínica
- Construcción de una relación significativa
- Sensibilidad al contexto
- Juicio ético
Los modelos de lenguaje, aunque sofisticados, tienden a operar bajo una lógica de “una solución para todos”, sin lograr esta profundidad.
¿Quién es responsable si algo sale mal?
A diferencia de los terapeutas humanos, que pueden ser regulados y sancionados, el uso de IA en salud mental aún carece de marcos claros de responsabilidad.
Esto plantea preguntas urgentes:
¿Quién responde si un usuario resulta perjudicado?
¿La empresa, el desarrollador, la plataforma?
Los autores proponen avanzar hacia regulaciones que incluyan:
- Certificación de sistemas de IA en salud mental
- Evaluaciones periódicas de seguridad
- Mayor transparencia
- Supervisión por profesionales humanos
Conclusión
Las inteligencias artificiales tienen el potencial de ampliar el acceso al apoyo emocional, pero este estudio muestra que aún están lejos de reemplazar la práctica clínica.
Sus principales limitaciones incluyen:
- Falta de personalización
- Empatía superficial
- Sesgos culturales
- Dificultades en la relación terapéutica
- Manejo inadecuado de crisis
En conjunto, los hallazgos sugieren que la salud mental no puede reducirse a una interacción automatizada.
La psicoterapia sigue siendo, ante todo, un encuentro humano.
