Ellen Pearlman entrevistado por Ivo Marais
IVO: Estas preguntas están elaboradas para reflejar la solemnidad de la ópera cinematográfica biométrica de IA “El lenguaje me está dejando” con sus temas de trauma epigenético y al mismo tiempo invitar a una exploración más profunda de cómo es una experiencia personal y colectiva explorada Prácticas performativas de borde.
I: El idioma me está dejando – Una ópera cinematográfica de AI de la piel (Lilm)se basa en su trabajo anterior con biometría, IA, interactividad y tecnologías inmersivas. ¿Podría discutir los conceptos detrás de esta pieza? ¿Cómo trabajó tu trabajo? Noor y Aibo influenciarlo?
Ellen: Hice Nooruna ópera de ondas cerebrales en 2016 y Aibouna ópera cerebral de inteligencia artificial emocionalmente inteligente en 2019/2020. Para Aibo Creé un personaje con GPT-2 mucho antes de que existiera GPT Chat. Ambas óperas se centraron en personas y eventos de la Segunda Guerra Mundial y se basaron en la vida de los personajes principales. En Noorel personaje principal Noor Inayat Khan fue una princesa musulmana sufí espía para los Aliados durante la Segunda Guerra Mundial que transmitió mensajes secretos como un operador inalámbrico encubierto en París de regreso a los Aliados. Fue capturada dos veces por la Gestapo y escapó dos veces. Debido a que no podían romperla, ella desapareció en “Noche y niebla” y se ejecutó en Dachau. Eva, el personaje humano en Aibo fue modelado después de Eva von Braun, la amante y luego esposa de Adolf Hitler. El personaje de AIBO que corrió en vivo en Google Cloud y modelado en Hitler fue construido desde cero en GPT2 antes de que existiera ChatGPT. Ambas óperas fueron sobre la Segunda Guerra Mundial. Comencé a preguntarme por qué estaba haciendo óperas de vanguardia sobre la Segunda Guerra Mundial cuando no tenía experiencia en la Segunda Guerra Mundial. Comencé a leer sobre epigenética o trauma heredado, especialmente de culturas de la diáspora y que desbloqueaba el rompecabezas para comenzar a trabajar en los recuerdos de LILM y epigenéticos, que coincidieron con el surgimiento de la IA visual.
Proceso artístico
Y: ¿Podrías guiarnos a través de tu proceso creativo? ¿Qué pasos tomaste del concepto inicial a la pieza final?
mi: Mi proceso artístico generalmente toma de dos a tres años desde el concepto hasta su finalización. La parte más difícil es construir una prueba técnica de concepto que funcione utilizando tecnologías recientemente emergentes. A menudo, el marco de lo que quiero hacer no existe y la tecnología surge a medida que desarrolla la historia y los aspectos performativos. Itero o desarrollar procesos mientras hago investigaciones y localizando ingenieros de software o tecnólogos creativos para ayudar a construir la pieza. Esto incluye artistas sónicos, codificadores, artistas y organizaciones internacionales dispuestas a fomentar y apoyar mi proceso.
I: ¿Qué tecnologías específicas usaste y cómo contribuyeron a la creación de esta ‘ópera cinematográfica de la piel’?
mi: Comencé a experimentar con el cine de inteligencia artificial en 2021 para Lilm durante las primeras etapas de desarrollo del medio. A través de la angustia y la repetición, me obligé a alcanzar una comprensión básica de estas plataformas complicadas y cómo funcionaban. Para el año siguiente pude hacer un video clip de siete segundos de prueba de concepto que era horrible, pero funcionó. Alrededor de ese tiempo, las plataformas de cine AI que respaldaban la tecnología comenzaron a estabilizarse y madurar. Luego construí los aspectos biométricos y lingüísticos.
I: Como esta actuación involucra IA, memoria traumática hereditaria y un enfoque en la piel, ¿puede explicar la retroalimentación táctil o sensorial?
mi: La razón por la que usé la piel o para esta pieza músculos faciales humanos cubiertos por la piel es que necesitaba una solución biométrica no invasiva para crear la banda sonora que podría colocarse rápida y fácilmente en un miembro de la audiencia voluntaria. Todo lo que el voluntario tenía que hacer era sentarse, poner los parches EMG en la cara y ver la película. El voluntario recibió instrucciones de sonreír cuando les gustaba algo o fruncir el ceño cuando no les gustaba. Supuse que la audiencia y el voluntario experimentarían emociones similares viendo la película juntos por primera vez. Me gusta usar biometría para crear un sistema que lleva el sistema nervioso humano a una actuación en el tiempo en vivo, para incorporar co-creación y un ciclo de retroalimentación con la audiencia.
Trauma epigenético y expresión creativa
I: El idioma me está dejando Explora un trauma que afecta al individuo pero está integrado en la memoria genética de las comunidades diaspóricas. Has hablado de tus propios recuerdos epigenéticos como un judío no religioso cuyos antepasados huyeron de los pogromos del pálido de asentamiento. ¿Cómo informó esta conexión personal con el trauma ancestral la creación de esta pieza?
mi: Esa es una pregunta realmente interesante. Para acceder a mis propios recuerdos epigenéticos, necesitaba sumergirme profundamente en los momentos formativos de mi infancia. En 2018 recibí una residencia de artistas en un ‘hotel de arte’ en la ciudad rusa de Peterhof, a pasos del palacio de verano del zar. Esto fue antes de que estallara la guerra con Ucrania. Pasé el tiempo leyendo sobre la historia de la genética desde Mendeley hasta la nueva ciencia de la epigenética. Comencé a investigar mi propia historia familiar, que era muy ignorante más allá de una generación, y durante ese tiempo descubrí por qué mis abuelos habían emigrado a los Estados Unidos. Fue porque estaban huyendo de los pogromos masivos de 1905 a lo largo del pálido de asentamiento en Europa del Este. Nadie había hablado sobre estos pogromos para mí antes. Solo pensé que mis abuelos vinieron a América para las oportunidades económicas.
Debido a mi comprensión de la epigenética, los patrones extraños y retorcidos de comportamientos transmitidos de mis abuelos a mis padres y por poder a mí, comenzaron a tener sentido. Fui llevado al Museo de Cultura Judía de Polina en Varsovia, Polonia, durante mi tiempo como especialista en Fulbright en la Academia Japonesa de Información de Computación de Polaco. Esa visita al museo realmente me dio la cabeza, mostrándome que mi diáspora étnica tenía más de mil años. Entendí que la torsión genética de múltiples traumas en los milenios era algo con lo que la inteligencia artificial no sabía cómo tratar. Comprender ese déficit y usarlo como tema, trabajé con inteligencia artificial multilingüe y multimodal sobre mi propio trauma para crear una ópera de performativa visual. Descubrí que la IA, cuando se enfrentó a los recuerdos sutiles inherentes a la diáspora, no puede hacer frente y se daña.
I: Trauma que permanece durante más de un siglo, como las secuelas de los pogromos, cobra un peso que trasciende el tiempo. Cómo El idioma me está dejando ¿Abordar la idea de que persisten algunos traumas, incluso cuando pasan las generaciones? ¿Ves tu propio trauma como entrelazado con el de otras culturas que han sufrido un sufrimiento diaspórico similar?
mi: Pasé por un proceso agotador y doloroso para acceder a mi propio trauma. Creo que mi experiencia es probablemente similar a otras culturas de la diáspora pero con diferentes historias y características. Estoy hablando de más de una generación porque el trauma a largo plazo puede cambiar el ADNr de poblaciones enteras. Me interesan las características que son más internalizadas y no verbales o tienen verbosidad pero no conceptualidad.
I: El concepto de trauma epigenético es poderoso y sugiere que el pasado viva en nuestros cuerpos y genes. ¿Cómo sientes esa expresión creativa, particularmente en este proyecto, puede ayudar a enfrentar o procesar un trauma heredado?
mi: La expresión creativa puede enfocar los radicales libres o los aspectos flotantes de la formación y el comportamiento de la identidad manipulando los signos y significantes culturales. En referencia a mi propio trauma epigenético, existe ciertos repositorios del mundo real de imágenes de archivo que accedí para los datos de entrenamiento. Muchas otras culturas no tienen acceso a fuentes de archivo. Comprendiendo que tomé el archivo y, a veces, el metraje original y lo comparé con otros marcos lingüísticos y visuales en los idiomas chinos, yiddish, xhosa y tamil. Debido a la naturaleza del proceso transformador algorítmico, mi experiencia vivida se ve disminuida u borrada. Aunque ese proceso puede verse como un lujo, se necesita una enorme cantidad de trabajo psicológico interno, la delicadeza técnica con la comprensión sobre las estructuras de la inteligencia artificial para lograr resultados coherentes. El trauma epigenético es insidioso, profundamente sentido y codificado en los primeros aspectos de la formación de identidad. Este trauma desarrolla generación tras generación a través de conflictos, guerra, agresión, genocidio, odio y territorialidad.
El trauma epigenético como medio para la ópera de rendimiento interactivo inmersivo
I: En la tradición performativa de vanguardia, a menudo hay una tensión entre la emoción humana y el desapego tecnológico. ¿Cómo se alinea o impulsa el uso de IA para interpretar experiencias tan profundamente humanas como el trauma? ¿Qué posibilidades o limitaciones únicas trajeron esto al trabajo?
mi: Lilm pregunta “¿Puede una IA tener recuerdos traumáticos epigenéticos o heredados?” La respuesta es no, porque la IA no puede interpretar experiencias humanas profundamente sentidas como el trauma. La IA verbal funciona inferiendo puntos vectoriales en el espacio que se codifican numéricamente utilizando vastos recursos de datos para desarrollar sus respuestas. Cuando comienzas a usar Visual AI, los resultados se vuelven ensillados. Podría funcionar para cosas simples como expresiones faciales felices o tristes, pero en términos de profundidad de la IA para comprender las profundas emociones humanas, especialmente de manera intercultural, exhibe demencia o olvido intencional. Este olvido o identificación errónea tiene serias implicaciones. Las tensiones en la práctica artística de vanguardia son llevar esos problemas subyacentes a la vanguardia.
I: ¿Puedes explicar cómo se usa la IA visual en el lenguaje? ¿Cómo ayuda a ilustrar o interpretar el concepto de trauma heredado en una actuación?
mi: Aprendizaje automático, de los cuales la IA es un subconjunto se usa en LILM de varias maneras. Compara el diálogo, conocido como “indicaciones de texto” en AI. Esto significa que tomo la narración original en inglés de la película, la ejecuto a través de Google Translate y lo comparo con cuatro guiones cursivos diferentes; Chino, Yiddish, Tamil y Xhosa (Sudáfrica) en IA utilizando un banco de imágenes llamado Laion 5-B que contiene más de 5 mil millones de imágenes. El aprendizaje automático también se usó durante la presentación en vivo cuando un miembro de la audiencia voluntario tenía parches EMG en su rostro. Se colocó un parche en su frente midiendo una respuesta negativa, o frunció el ceño y el otro colocó en su músculo de la mejilla para medir una sonrisa o una respuesta positiva mientras veía la película. Sus respuestas impulsaron la banda sonora compuesta por un diseñador de una artista sónica en Touch. Estas son las tres formas en que el aprendizaje automático y la inteligencia artificial impulsaron la actuación.
Cuando consideré hacer un trabajo sobre la IA y el trauma epigenético, tuve la suerte de conocer a Yan Le Cun, el científico de investigación principal de la IA de Meta/Facebook. Le dije que estaba haciendo una pieza de actuación sobre recuerdos traumáticos epigenéticos o heredados de culturas de la diáspora. Me dijo que AI no entendía el trauma epigenético ahora, pero creía en unos 20 años que lo haría. Me sorprendió descubrir que Meta/Facebook e investigadores afiliados ya estaban pensando en el trauma epigenético, por lo que mi intuición inicial sobre el fracaso de la IA con el trauma epigenético fue bastante precisa.
(Fin de la Parte I)
Para leer la Parte II de esta entrevista, vaya a este enlace.
La versión completa del artículo “El lenguaje me está dejando: una ópera de AI cinematográfica de la piel” (Parte I) está disponible en Theatre Times.
