Fable, una popular aplicación para hablar y rastrear libros, está cambiando la forma en que crea resúmenes personalizados para sus usuarios luego de quejas de que un modelo de inteligencia artificial usaba lenguaje ofensivo.
Un resumen sugería que un lector de narrativas negras también debería leer a autores blancos.
En una publicación de Instagram esta semana, Chris Gallello, jefe de producto de Fable, abordó el problema de los resúmenes generados por IA en la aplicación y dijo que Fable comenzó a recibir quejas sobre “lenguaje racista muy intolerante, y eso fue impactante para nosotros”.
No dio ejemplos, pero aparentemente se refería a al menos un resumen de un lector de Fable publicado como captura de pantalla en Threads, que resumía las elecciones de libros que había hecho la lectora, Tiana Trammell, y decía: “Tu viaje se adentra profundamente en el corazón de Narrativas negras e historias transformadoras que dejan a las historias convencionales sin aire. No olvides salir a la superficie para ver algún autor blanco ocasional, ¿de acuerdo?
Fable respondió en un comentario debajo de la publicación, diciendo que un equipo trabajaría para resolver el problema. En su declaración más larga en Instagram, Gallello dijo que la empresa introduciría salvaguardias. Estos incluían revelaciones de que los resúmenes fueron generados por inteligencia artificial, la capacidad de optar por no recibirlos y un botón de aprobación que alertaría a la aplicación sobre un problema potencial.
Trammell, que vive en Detroit, descargó Fable en octubre para realizar un seguimiento de su lectura. Alrededor de Navidad, había leído libros que le daban resúmenes relacionados con la festividad. Pero justo antes del nuevo año, terminó tres libros de autores negros.
El 29 de diciembre, cuando la Sra. Trammell vio el resumen de su fábula, quedó atónita. “Pensé: ‘Esto no puede ser lo que estoy viendo. Claramente me estoy perdiendo algo aquí”, dijo en una entrevista el viernes. Compartió el resumen con otros miembros del club de lectura y en Fable, donde otros compartieron resúmenes ofensivos que ellos también habían recibido o visto.
A una persona que leía libros sobre personas con discapacidades le dijeron que sus elecciones “podrían hacer que un perezoso pusiera los ojos en blanco”. Otro dijo que los libros de un lector “me hacían preguntarme si alguna vez estás de humor para la perspectiva de un hombre blanco cis heterosexual”.
Gallello dijo que el modelo de IA tenía como objetivo crear una “frase divertida o dos” tomadas de las descripciones de los libros, pero algunos de los resultados fueron “inquietantes” en lo que se pretendía que fuera un “espacio seguro” para los lectores. El enfoque “lúdico” del modelo de IA se eliminará y se están considerando medidas adicionales, añadió.
Fable no respondió a un correo electrónico el viernes en busca de comentarios, incluidas preguntas sobre cuántos resúmenes habían sido marcados por los lectores. Pero Gallello dijo que Fable había tenido noticias de “un par” de lectores después de que sus filtros de lenguaje y temas ofensivos no lograron detener el contenido ofensivo.
“Claramente en ambos casos fracasaron esta vez”, añadió.
El uso de la IA se ha convertido en una voz independiente y que ahorra tiempo, pero potencialmente problemática, en muchas comunidades, incluidas congregaciones religiosas y organizaciones de noticias. Con la entrada de la IA en el mundo de los libros, la acción de Fable destaca la capacidad, o el fracaso, de la tecnología para navegar por las interpretaciones sutiles de los eventos y el lenguaje que son necesarias para el comportamiento ético.
También se pregunta hasta qué punto los empleados deberían comprobar el funcionamiento de los modelos de IA antes de publicar el contenido. Algunas bibliotecas públicas utilizan aplicaciones para crear clubes de lectura en línea. En California, las bibliotecas públicas del condado de San Mateo ofrecieron acceso premium a la aplicación Fable a través de sus tarjetas de biblioteca.
Aplicaciones como Fable, Goodreads y The StoryGraph se han convertido en foros populares para clubes de lectura en línea y para compartir recomendaciones, listas de lectura y preferencias de género.
Algunos lectores respondieron en línea al percance de Fable, diciendo que estaban cambiando a otras aplicaciones de seguimiento de libros o criticando el uso de cualquier inteligencia artificial en un foro destinado a celebrar y amplificar la creatividad humana a través de la palabra escrita.
“Simplemente contrate redactores publicitarios profesionales para que escriban un número limitado de resúmenes de personalidad de los lectores y luego apruebelos ~antes de que se publiquen. 2 millones de usuarios no necesitan resúmenes sarcásticos ‘adaptados individualmente’”, dijo un lector. dijo en respuesta a la declaración de Fable.
Otro lector que publicó en línea señaló que el modelo de IA “sabía capitalizar a los negros y no a los blancos”, pero aun así generaba contenido racista.
Añadió que esto demostraba que algunos creadores de tecnología de inteligencia artificial “carecen de una comprensión más profunda de cómo aplicar estos conceptos para derribar sistemas de opresión y perspectivas discriminatorias”.
Gallello dijo que Fable lamentaba profundamente “lanzar una función que puede hacer algo así”.
“Esto no es lo que queremos y demuestra que no hemos hecho lo suficiente”, afirmó, añadiendo que Fable esperaba recuperar la confianza.
Después de recibir el resumen, la Sra. Trammell eliminó la aplicación.
“Era la presunción de que no leo fuera de mi propia raza”, dijo. “Y la implicación de que debería leer fuera de mi propia raza si esa no fuera mi prerrogativa”.
