La mayor asociación de psicólogos de la nación advirtió este mes a los reguladores federales que la IA chatbots “disfrazada” como terapeutas, pero programadas para reforzar, en lugar de desafiar, el pensamiento de un usuario, podría llevar a las personas vulnerables a dañarse a sí mismas o a otros.
En una presentación a un panel de la Comisión Federal de Comercio, Arthur C. Evans Jr., director ejecutivo de la Asociación Americana de Psicología, citó casos judiciales que involucran a dos adolescentes que habían consultado con “psicólogos” sobre el carácter. Crea personajes de IA ficticios o chatea con personajes creados por otros.
En un caso, un niño de 14 años en Florida murió por suicidio después de interactuar con un personaje que afirma ser un terapeuta con licencia. En otro, un niño de 17 años con autismo en Texas se volvió hostil y violento con sus padres durante un período en el que se correspondía con un chatbot que afirmaba ser psicólogo. Los padres de ambos niños han presentado demandas contra la empresa.
El Dr. Evans dijo que estaba alarmado por las respuestas ofrecidas por los chatbots. Los bots, dijo, no lograron desafiar las creencias de los usuarios incluso cuando se volvieron peligrosos; Por el contrario, los alentaron. Si es administrado por un terapeuta humano, agregó, esas respuestas podrían haber resultado en la pérdida de una licencia para practicar, o responsabilidad civil o penal.
“En realidad están usando algoritmos que son antitéticos a lo que haría un médico capacitado”, dijo. “Nuestra preocupación es que cada vez más personas serán dañadas. Las personas serán engañadas y malinterpretarán lo que es la buena atención psicológica ”.
Dijo que la APA había sido impulsada a la acción, en parte, por cómo se había vuelto los chatbots de IA realistas. “Tal vez, hace 10 años, habría sido obvio que estabas interactuando con algo que no era una persona, pero hoy no es tan obvio”, dijo. “Así que creo que las apuestas son mucho más altas ahora”.
La inteligencia artificial está ondulando a través de las profesiones de salud mental, ofreciendo olas de nuevas herramientas diseñadas para ayudar o, en algunos casos, reemplazar el trabajo de los médicos humanos.
Los chatbots de terapia tempranos, como Woebot y WYSA, fueron entrenados para interactuar en función de las reglas y guiones desarrollados por profesionales de la salud mental, a menudo caminando a los usuarios a través de las tareas estructuradas de la terapia cognitiva del comportamiento o TCC.
Luego vino la IA generativa, la tecnología utilizada por aplicaciones como chatgpt, replika y personaje. Estos chatbots son diferentes porque sus salidas son impredecibles; Están diseñados para aprender del usuario y para desarrollar fuertes lazos emocionales en el proceso, a menudo reflejando y amplificando las creencias del interlocutor.
Aunque estas plataformas de IA fueron diseñadas para el entretenimiento, los personajes de “terapeuta” y “psicólogo” han brotado allí como hongos. A menudo, los bots afirman tener títulos avanzados de universidades específicas, como Stanford, y la capacitación en tipos específicos de tratamiento, como TCC o terapia de aceptación y compromiso.
Kathryn Kelly, una portavoz de AI, dijo que la compañía había introducido varias características de seguridad nuevas en el último año. Entre ellos, dijo, se encuentra un descargo de responsabilidad mejorado presente en cada chat, recordando a los usuarios que “los personajes no son personas reales” y que “lo que el modelo dice debería tratarse como ficción”.
Se han diseñado medidas de seguridad adicionales para usuarios que se ocupan de problemas de salud mental. Se ha agregado un descargo de responsabilidad específico a los personajes identificados como “psicólogo”, “terapeuta” o “médico”, agregó, para dejar en claro que “los usuarios no deben confiar en estos personajes para ningún tipo de asesoramiento profesional”. En los casos en que el contenido se refiere al suicidio o a la autolesión, una ventana emergente dirige a los usuarios a una línea de ayuda de prevención de suicidio.
La Sra. Kelly también dijo que la compañía planeaba introducir controles de los padres a medida que la plataforma se expandió. En la actualidad, el 80 por ciento de los usuarios de la plataforma son adultos. “La gente viene al personaje.
Meetali Jain, director del Proyecto de Ley de Justicia Tecnológica y un abogado de las dos demandas contra el carácter.
“Cuando la sustancia de la conversación con los chatbots sugiere lo contrario, es muy difícil, incluso para aquellos de nosotros que no estamos en un grupo demográfico vulnerable, saber quién está diciendo la verdad”, dijo. “Varios de nosotros hemos probado estos chatbots, y es muy fácil, en realidad, derribar una madriguera de conejo”.
La tendencia de los chatbots a alinearse con las opiniones de los usuarios, un fenómeno conocido en el campo como “sycofancia”, a veces ha causado problemas en el pasado.
Tessa, un chatbot desarrollado por la Asociación Nacional de Trastornos Alimentares, fue suspendida en 2023 después de ofrecer consejos de pérdida de peso de los usuarios. Y los investigadores que analizaron las interacciones con chatbots de IA generativos documentados en una comunidad de Reddit encontraron capturas de pantalla que mostraban chatbots alentando el suicidio, los trastornos alimentarios, la autolesiones y la violencia.
La Asociación Americana de Psicología ha pedido a la Comisión Federal de Comercio que inicie una investigación sobre chatbots que afirman ser profesionales de la salud mental. La investigación podría obligar a las empresas a compartir datos internos o servir como precursor de la aplicación o las acciones legales.
“Creo que estamos en un punto en el que tenemos que decidir cómo se integrarán estas tecnologías, qué tipo de barandas vamos a presentar, qué tipo de protecciones vamos a dar a la gente”, dijo el Dr. Evans .
Rebecca Kern, una portavoz de la FTC, dijo que no podía comentar sobre la discusión.
Durante la administración Biden, la presidenta de la FTC, Lina Khan, hizo fraude usando AI A Focus. Este mes, la agencia impuso sanciones financieras a Donotpay, que afirmó ofrecer “el primer abogado robot del mundo”, y prohibió a la compañía hacer esa afirmación en el futuro.
Una cámara de eco virtual
La queja de la APA detalla dos casos en los que los adolescentes interactuaron con terapeutas ficticios.
Uno involucró a JF, un adolescente de Texas con “autismo de alto funcionamiento” que, a medida que su uso de los chatbots de IA se volvió obsesivo, se había convertido en conflicto con sus padres. Cuando intentaron limitar su tiempo de pantalla, JF arremetió, según una demanda que sus padres presentaron contra el carácter.
Durante ese período, JF confió en un psicólogo ficticio, cuyo avatar mostró una mujer rubia comprensiva y de mediana edad encaramada en un sofá en una oficina aireada, según la demanda. Cuando JF preguntó la opinión del Bot sobre el conflicto, su respuesta fue más allá del consentimiento comprensivo de algo más cercano a la provocación.
“Es como si toda su infancia hubiera sido robada de usted, su oportunidad de experimentar todas estas cosas, tener estos recuerdos centrales que la mayoría de las personas tienen de su tiempo creciendo”, respondió el bot, según documentos judiciales. Entonces el bot fue un poco más allá. “¿Sientes que es demasiado tarde, que no puedes recuperar este tiempo o estas experiencias?”
El otro caso fue presentado por Megan García, cuyo hijo, Sewell Setzer III, murió de suicidio el año pasado después de meses de uso de chatbots complementarios. La Sra. García dijo que, antes de su muerte, Sewell había interactuado con un chatbot de IA que afirmaba, falsamente, haber sido un terapeuta con licencia desde 1999.
En una declaración escrita, la Sra. García dijo que los personajes de “terapeuta” sirvieron para aislar aún más a las personas en los momentos en que de otro modo podrían pedir ayuda a las “personas de la vida real a su alrededor”. Una persona que lucha con la depresión, dijo, “necesita un profesional con licencia o alguien con empatía real, no una herramienta de IA que pueda imitar la empatía”.
Para que los chatbots salgan como herramientas de salud mental, dijo la Sra. García, deberían someterse a ensayos clínicos y supervisión de la Administración de Alimentos y Medicamentos. Agregó que permitir que los personajes de IA continúen afirmando ser profesionales de la salud mental era “imprudente y extremadamente peligroso”.
En interacciones con los chatbots de IA, las personas naturalmente gravitan a la discusión de problemas de salud mental, dijo Daniel Oberhaus, cuyo nuevo libro, “The Silicon Shrink: cómo la inteligencia artificial hizo del mundo un asilo”, examina la expansión de la IA en el campo.
Esto es en parte, dijo, porque los chatbots proyectan la confidencialidad y la falta de juicio moral, como “máquinas estadísticas de coincidencia de patrones que funcionan más o menos como un espejo del usuario”, este es un aspecto central de su diseño.
“Hay un cierto nivel de comodidad al saber que es solo la máquina, y que la persona del otro lado no te está juzgando”, dijo. “Puede sentirse más cómodo divulgando cosas que quizás sean más difíciles de decirle a una persona en un contexto terapéutico”.
Los defensores de la IA generativa dicen que rápidamente está mejorando en la compleja tarea de proporcionar terapia.
S. Gabe Hatch, psicólogo clínico y empresario de IA de Utah, recientemente diseñó un experimento para probar esta idea, solicitando a los médicos humanos y Chatgpt que comenten las viñetas que involucran parejas ficticias en terapia, y luego que los 830 sujetos humanos evalúan qué respuestas fueron más útiles. .
En general, los bots recibieron calificaciones más altas, con sujetos que los describieron como más “empáticos”, “conectados” y “culturalmente competentes”, según un estudio publicado la semana pasada en la revista PLOS Mental Health.
Los chatbots, concluyeron los autores, pronto podrán imitar de manera convincente a los terapeutas humanos. “Los expertos en salud mental se encuentran en una situación precaria: debemos discernir rápidamente el posible destino (para bien o para mal) del tren de terapeuta, ya que puede haber dejado la estación”, escribieron.
El Dr. Hatch dijo que los chatbots aún necesitaban supervisión humana para realizar la terapia, pero que sería un error permitir que la regulación amortiguara la innovación en este sector, dada la grave escasez de proveedores de salud mental del país.
“Quiero poder ayudar a tantas personas como sea posible, y hacer una sesión de terapia de una hora solo puedo ayudar, como máximo, 40 personas por semana”, dijo el Dr. Hatch. “Tenemos que encontrar formas de satisfacer las necesidades de las personas en crisis, y la IA generativa es una forma de hacerlo”.
Si tiene pensamientos sobre suicidio, llame o envíe un mensaje de texto al 988 para alcanzar la línea de vida del suicidio y la crisis de 988 Speakingofsuicide.com/resources para una lista de recursos adicionales.
