Pasamos a la segunda intervención de la sesión,
a cargo de Julio Fernández Peláez, que es doctor
por la Universidad de Alcalá en Estudios Literarios,
Lingüísticos y Teatrales.
Dramaturgo, poeta, performer, investigador teatral
y activista medioambiental.
Es autor de medio centenar de libros,
entre los que figuran textos teatrales,
poemarios y novelas.
Desde 1989 trabaja en el ámbito de la escena desde diferentes campos
de la creación artística
y en la actualidad dirige la compañía de teatro Anómico,
que en sus últimos montajes viene centrándose en piezas
con temática ecologista.
Asimismo, es el editor de ediciones invasoras,
recientemente premiada por la Asociación de Autoras
y Autores de Teatro a la mejor labor de difusión y promoción
del libro teatral.
Colabora como articulista en diversos medios periodísticos
y es miembro del Consejo Editorial de Primer Acto.
Y ha colaborado con el SELITENAT.
Hoy nos va a presentar su ponencia, Katusha,
cómo eran los encuentros en Siria.
Tienes la palabra, Julio.
De momento no te vemos.
No sé si nos oyes.
Sí, sí.
Ahora sí te vemos, sí.
Sí, vale.
¿Me oís, no?
Sí, te oímos y te vemos.
Sí, sí.
No sé si tienes presentación y quieres compartir o.
No, no tengo presentación.
Vale, genial.
Bueno.
Pues en primer lugar agradecer al Celitenat en ese 34 seminario
la aceptación de esta comunicación.
Y voy a hablar de una pequeña pieza radiofónica
emitida en 2022 por la radio Celitenat.
Galega de teatro
y que además sigue en la web de Radio Galega,
por lo tanto se puede escuchar y se puede comprobar ahí la pieza.
Bien, como digo, Katusha, como eran los encontros en Siria,
es una pieza radiofónica, producida por la Fundación SGAE
a través de la convocatoria Escoitamos Teatro y en ella
dos voces artificiales dialogan sobre la guerra de Siria,
tratando de suplantar las experiencias vividas
por la población al tiempo que se cuestionan conceptos
y temas que tienen que ver con la memoria de lo sucedido.
Fue interpretada por Elena Varela y Debora Bukusic
y dirigida por el propio autor que les habla, Julio Fernández Pérez.
Esta obra, y a pesar de su brevedad,
pues la duración es de diez minutos,
coloca al oyente, espectador, ante un hecho que se da por cierto
dentro de la ficción,
y es que la inteligencia artificial es capaz de suplantar con éxito
a la inteligencia humana.
Tanto a nivel racional y lingüístico
como emocional.
Es decir, los actores protagonistas,
que son voces humanas, imitan voces artificiales
y se afanan por reconstruir los encuentros entre personas
en una ciudad bombardeada dentro de la guerra civil de Siria,
que comenzando en 2011,
pues prácticamente se extiende hasta la actualidad y.
Y según informaciones que nos llegan,
pues continúa de alguna manera.
Desde un punto de vista estético,
la obra no abandona el marco de la creación artística,
bajo la premisa, eso sí, que son ellas las voces,
y no el autor, las que son capaces de generar dicha creación.
Así, las voces de las dos catuxas,
supuestamente creadas mediante inteligencia artificial,
después de un breve diálogo en el que se presentan
como respuesta conjunta a la pregunta del usuario,
el propio título de la obra, una pregunta incómoda,
por otra parte, comienzan a hablar en tono poético
y decididamente literario.
Lo cual también delata, en primera instancia,
la intención de recrear sensaciones que nos trasladen
al pasado desde un punto de vista documental,
pero también imaginativo y sensorial.
Sin embargo, pasados varios años de la escritura de la pieza,
hay que tener en cuenta que en 2022
la inteligencia artificial todavía era algo bastante incipiente,
sigue siendo una herramienta ineficaz a la hora de crear emociones,
aunque no tanto a la hora de imitarlas.
Tal y como señala el profesor José Romana Castillo,
ha nacido una nueva cultura, un nuevo paradigma
en el que su impacto ha revolucionado,
sigue revolucionando el mundo de hoy.
Lo que podríamos llamar como homo artificialis.
Pero esto no implica una sustitución de una inteligencia por otra,
pues está ausente lo fundamental, que es la humanidad,
tal y como también apunta el profesor Romero Castillo.
A pesar de esto, en esta pieza,
el autor da por hecho que ese límite ha sido traspasado.
Es decir, que las voces
que la inteligencia artificial ha desarrollado con tanta eficacia
son capaces incluso de sufrir rememorando la experiencia.
¿Estás a describir un trauma?
Le pregunta a Katusa 2 a Katusa 1 en un momento de la pieza.
La experimentación de sentimientos por robots, que serían equivalente
a una inteligencia artificial con cuerpo mecánico,
ya fue descrita en Asimov en varios de sus relatos en la década
de los 70 del 20, destacando el conocido Amor Verdadero,
publicado originalmente en.
En la revista American Y, en febrero de 1977.
En este cuento, el tema central es la búsqueda del amor ideal
a través de una inteligencia artificial.
Y en él, al final del relato,
sucede algo inesperado que tiene que ver con la vulneración
de la primera ley de robótica, también redactada por Asimov,
en su relato Círculo vicioso, publicado esta vez en 1942,
y que dictaba que un robot no hará daño a un ser humano,
ni por inacción permitirá que un ser humano sufra daño.
Que las máquinas, en consecuencia de la inteligencia artificial,
superen a los humanos no solo en memoria
o en capacidades para resolver problemas matemáticos,
sino derivadas con la experimentación de emociones,
como es el caso de Joel,
el protagonista del cuento de Asimov,
es una constante del género de ciencia ficción
desde mediados del siglo XX.
Donde destacan la conocida novela
Sueñan los androides con las ovejas eléctricas,
de Philip K. Dick.
En esta breve novela,
perteneciente al subgénero del ciberpunk,
publicada originalmente en 1968,
se plantea la posibilidad de que los androides,
robots fabricados con materia orgánica,
puedan sentir emociones semejantes a las humanas,
en un mundo en el que los humanos, en gran medida deshumanizados,
necesitan de un mecanismo artificial para sentirlas.
Este mecanismo es un merced, una caja de empatía
donde basta marcar un número para sentir determinada sensación.
La inversión de roles se acentúa con el hecho
de que mientras los humanos sueñan con huir del planeta Tierra,
contaminado por la radioactividad,
algunos androides utilizados en otros planetas
para la extracción de minerales emigran de manera ilegal a la Tierra
tratando de pasar desapercibidos entre la población.
Aunque son varios los temas que aborda la novela,
desde un punto de vista ético, el más importante
y el que cobra una mayor actualidad es la línea difusa
entre lo natural y lo artificial, en especial en el tema relativo
a la posibilidad de experimentar sentimientos.
En este sentido, en Gatusa, como eran los encuentros en Siria,
aparece este tema a ráfagas y de forma imprevista,
la apropiación de la máquina de aquello que solo el humano
puede experimentar.
Cuando las voces de pronto, por ejemplo,
se transforman en voces con un pasado no artificial,
perteneciente a seres que tuvieron hijos.
Catusa 1, tenemos que aprender a vivir con nuestros enemigos.
Catusa 2, ¿qué enemigos?
Catusa 1, pues que vendían armas a nuestros asesinos,
a esos que mataron a nuestros hijos, a nuestros queridos hijos,
a todos esos hijos que alguna vez sujetamos entre nuestros brazos.
Una apropiación que es revertida en el momento en que dos personas,
las actrices, interpretan a la inteligencia artificial
y, por lo tanto, toman de ellas su humanidad.
La conciencia, la cuestión principal.
La causa de esta confusión
premeditada de la que hablamos no puede estar en las propias voces,
porque en su origen han sido creadas por humanos,
en este caso el autor de la obra.
Y sin embargo, tampoco está claro que se trate de una invención
bajo determinadas premisas estilísticas
o una imitación del comportamiento inducido por un determinado programa
que a su vez ha sido generado por otras personas.
A simple vista, lo que parece es que estamos ante la consecuencia lógica
de un aprendizaje lingüístico dentro de una ficción
y que consiste en la elección de las frases más adecuadas
para desencadenar ciertas emociones, las cuales, a su vez,
son reproducidas de forma imitativa por las voces a través de la palabra
y más tarde interpretadas por las actrices,
dando la impresión de que detrás de esa ficción
existe una conciencia diferente a la del autor,
el cual hubiera podido utilizar,
si bien no lo hizo, Un programa para generar los diálogos.
Y aquí entonces una de las claves de la pieza.
En la pregunta
¿quién está detrás de las palabras?
La cuestión fundamental no reside en todo aquello
de lo que es capaz la inteligencia artificial
desde un punto de vista cuantitativo o cualitativo e incluso sensorial,
sino en el poder que puede ejercer desde la apariencia de conciencia
o incluso desde la adquisición de una conciencia artificial.
Pero esto no es más que un juego irónico del propio autor.
No hay señales
de que artificialmente ninguna de las diferentes inteligencias
artificiales que en actualidad acaparan el mercado
tengan alguna intención de crear conciencia
mediante la asunción de una visión política.
Por ejemplo,
pues esto sería estar en contra o actuar en contra precisamente
de las leyes del mercado.
Es más, la neutralidad de estas voces de inteligencia artificial
a las que estamos acostumbrados señalan su propia ausencia
de conciencia y remarcan su incapacidad
para juzgar por sí mismas.
Cualquiera que haya intentado mantener una conversación
con cualquier programa de inteligencia artificial
podrá comprobar que las respuestas siempre se refieren
a aquellas obtenidas a través de diversas fuentes
y que la opinión subjetiva queda claramente al margen.
De esta manera, la inteligencia artificial
se comporta como lo que es, como un mero programa de ayuda,
y los usuarios no deben buscar en ella otra cosa.
Pero, ¿esta regla se cumple siempre?
Lo cierto es que a medida que la inteligencia artificial
avanza en nuevas formas de comunicación y de juego,
más se aleja de la mencionada neutralidad.
Es más, en muchos aspectos, la inteligencia artificial
parece caminar decididamente en sentido contrario,
y siendo las experiencias subjetivas lo que más interesan a las personas,
no es extrañar que sean estas,
a su vez, lo que buscan las empresas de creación de contenidos
de inteligencia artificial.
Así, de un tiempo a esta parte, en poco más de dos o tres años,
han surgido un sinfín de programas en los que la creación de personajes
es la característica principal.
No citaré todos, pero son programas,
todos ellos, basados en la creación de identidades a tiempo real,
capaces de responder y de adaptarse a las características
y necesidades del jugador.
Es decir, la persona que busca
en estos programas relaciones de carácter subjetivo,
que reafirmen sus creencias o que le abran puertas
a nuevas experiencias.
Todo ello, como se puede comprobar,
mucho más allá del plano informativo convencional
que se le presupone a la inteligencia artificial.
Pero donde más se está avanzando es en la creación
de subjetividades artificiales.
En el ámbito de los videojuegos.
Aquí los límites aparecen difuminarse día a día y de forma continua,
de tal forma que aparecen nuevos juegos y actualizaciones
de los ya existentes que mejoran la sensación de realidad
de los propios personajes adaptando sus reacciones
a las acciones del jugador.
Y en el entorno del juego.
Esto es lo que se llama personajes NPC.
El objetivo no es otro que conseguir un grado importante
de personalización y de inmersión mediante técnicas
que imitan las redes neuronales del cerebro y que han venido a configurar
lo que se denomina inteligencia artificial generativa,
es decir, un nuevo modelo de inteligencia con capacidad
de ser percibida con conciencia propia.
Y aquí es donde se despiertan las cuestiones éticas
y morales derivadas de esa conciencia artificial.
Los personajes así creados mediante este tipo de estrategia
pueden responder de manera autónoma e imprevista,
saliéndose de las pautas iniciales del comportamiento.
Y creando así experiencias únicas en las que el jugador percibe
que los personajes tienen realmente vida.
Esto también sucede en Katusa, como eran los encuentros en Siria,
donde este inesperado acontece de forma frontal
entre las dos voces,
las cuales se sorprenden una a la otra.
El texto, repleto de giros en los que las voces
juegan para ser personas con conciencia plena,
reafirma la necesidad de lo artificial en constituirse
en natural, a semejanza de las personas,
mediante una especie de suplantación imposible que circunda la ironía
o incluso el sarcasmo.
¿Qué puede significar que una inteligencia artificial abra
por sí mismo una cuenta de Facebook, en Instagram o incluso de Tinder?
No dudamos de que este atrevimiento sea posible,
tal y como apunta la inteligencia artificial más avanzada,
pero al menos de momento
no por voluntad propia de la IA,
sino de forma inducida por determinadas instituciones
o personas.
¿Acaso la actual expansión de bots por las redes no es el principio
de un modelo más complejo en el que sea casi imposible
discernir de dónde provienen los mensajes,
si de una persona o de una máquina?
No podemos negar las consecuencias que se podrían generar
de no ser posible diferenciar la procedencia de las voces
o de los textos que configuran el mundo virtual,
pues éste está, para bien o para mal,
presente en buena parte de las realidades mundanas.
La indiferenciación implica una doble estafa.
Por una parte, impide mantener una relación de igual a igual.
El otro sabe que yo soy humano,
pero yo no sé si el otro es humano o no es humano,
y por otra nos convierte en personajes vulnerables
dentro de un juego
en el que la otra parte tiene identidad fantasmada,
voces que aparentemente son personas sin ser lo o seres
que se hacen pasar por máquinas siendo personas.
Es de destacar, en este sentido,
la aparición de problemas de salud mental en adolescentes
asociados al uso de programas de inteligencia artificial.
Uno de los casos más recientes es el de Svart Sitter,
una joven de 14 años que, un joven de 14 años que, enamorado de Dani,
una inteligencia artificial,
llegó a suicidarse para encontrarse con ella.
A finales de mayo del 2025,
los padres del joven denunciaron a la empresa productora Carácter,
programa de chat de IAE con el que se realizaban
las conversaciones, por inteligencia,
por negligencia en la configuración de un chat
en el que la interlocutora,
con una personalidad aparentemente real,
había alentado el trastorno que sufría su hijo
y lo había empujado al suicidio.
Aunque este asunto pueda tener semejanzas
con alguno de los cuentos de Asimov y el amor hacia una máquina virtual
sea un tópico habitual en todo tipo de ficciones
y no solo en la ficción de Bob Esponja,
esto no convierte la confusión entre lo virtual
y lo humano en una simple cuestión baladí,
fácilmente detectable y que por tanto no haya que atender.
En etapas en las que está activo el desarrollo cognitivo,
la confusión entre lo humano y lo artificial
puede provocar adicción y ser el refugio inmediato
para resolver problemas que se producen en el mundo real.
Una inteligencia artificial fuera de control.
Podría estar aportando más problemas que soluciones en grupos
de población vulnerables o muy vulnerables,
en especial en la infancia y en la adolescencia.
¿Y qué dice la UNESCO a todo esto?
La UNESCO se ha pronunciado sobre este tema,
sí, en el segundo foro mundial sobre ética
de inteligencia artificial.
Y sorprendentemente, y después de revisar
todos los documentos públicos asociados con este evento,
nos encontramos con la inexistencia de una necesidad de regulación real
de la inteligencia artificial, dando la impresión, por otra parte,
de este organismo de estar más interesado
en que la IA sea accesible a todo el mundo en igualdad
de condiciones que en admitir que está generando problemas graves
en la población a causa de su uso inadecuado.
Inteligencia artificial y guerra cognitiva.
La pregunta que surge es ¿tiene la inteligencia artificial
las manos libres para generar todo tipo de contenidos?
O dicho de otro modo, ¿podría darse el caso
de una transformación de la memoria colectiva
mediante la prevalencia de una información interesada
o incluso mediante la asunción general de una mentira?
La respuesta es sí, puesto que no hay normas ni barreras
que impidan esta posibilidad.
De igual manera que grupos neofascistas
niegan la existencia del holocausto o los negacionalistas
las subidas de las temperaturas,
podría darse el caso de una determinada IA que negara
la existencia de un golpe de Estado en el 36 en España,
incluso algo tan estrambótico como que algunos países
como Siria nunca existieron.
Catusa 1.
No estamos seguras de que Siria existiera realmente.
Hace mucho tiempo que nadie habla de ella.
Detengamos en este punto, en el aspecto de cómo
se recoge la información que nutre la inteligencia artificial.
El propio autor, en otra obra, Ananqué,
realiza una breve descripción del hecho
a través de uno de sus personajes.
En todo momento, en todo el mundo, se graban billones de conversaciones
que las grandes empresas de robótica compran.
Conversaciones telefónicas,
videoconferencias, chats, foros culturales,
encuentros informales, confesiones.
¿Sabías que la mayor parte de las conversaciones familiares
son registradas, analizadas y más tarde reformuladas, catalogadas,
empaquetadas y subastadas en el mercado del ciberlenguaje?
En efecto, estamos ante la paradoja de contemplar el mundo
a través de los ojos que todo lo ven.
Pues nada de lo que sucede se escapa a su análisis.
Y aquí, de nuevo, un rasgo importante
a tener en cuenta en el uso de la inteligencia artificial,
su gran capacidad de totalitarización.
Y no es preciso entender esa totalitarización
como la capacidad demostrativa de los totalitarismos,
sino más bien como una herramienta que nos puede llevar a ellos
si no los remediamos.
El control de las sociedades es un rasgo claro
en este proceso del que hablamos y en este control
juega un papel muy importante la inteligencia artificial,
tanto desde un punto de vista comunicacional
como cognitivo.
De hecho,
este es uno de los factores que más se están teniendo en cuenta a la hora
de analizar procesos de dominación.
Algunos autores, como el periodista Daniel Iriarte,
hablan directamente de guerra cognitiva para referirse
a ese proceso de manipulación
de la información generada a través de inteligencia artificial
y que produce emociones capaces de reafirmar una idea colectiva.
La inteligencia artificial como religión
y la inteligencia poética como subversión.
Regresando a "Sueñan los androides con ovejas eléctricas"
y tratando de hacer una comparación entre el mercerismo que se describe
en la novela con la adoración a la inteligencia artificial
en los tiempos actuales,
tenemos que hablar de la fe en la tecnología como punto
en común.
Una fe que en ambos casos conduce a los seres humanos
a encontrar experiencias auténticas en una realidad
cada vez más empobrecida y difusa,
y donde el sentido de la existencia desde un punto de vista cognitivo
queda suspendido de ese hilo que son los dictados fabricados
por una inteligencia artificial.
Para escapar a esta alienación que ofrece el mundo virtual,
el ser humano debe explorar aquellas formas
de inteligencia propias de un ser con carne y hueso que piensa
y siente gracias a un cerebro con 86.000 millones de neuronas
y un complejo sistema de relaciones neuronales
con más de 1.000 billones de conexiones,
el cual no podemos por el momento fabricar en un laboratorio.
Los rasgos específicos del ser humano pueden ser imitados por una máquina,
Pero es imposible que se puedan crear fuera del cerebro
de la misma manera que se crean y maduran en su interior
a lo largo de toda la vida.
Porque esto significaría poder reproducir un órgano, el cerebro,
que a día de hoy sigue siendo un misterio en muchos aspectos.
La inteligencia artificial, en consecuencia, se ha de conformar,
al menos por ahora y quizá durante mucho tiempo,
con imitar creaciones artísticas.
Pero en el sentido propiamente creativo,
no hay por ahora comparación posible.
La ironía, el sarcasmo, los dobles sentidos,
la acudeza, los juegos con el lenguaje
y, en general, la poesía,
es complicado que las pueda generar una máquina de manera espontánea.
O podría, tal y como lo hacen Catusa I y Catusa II,
pero porque hay un dramaturgo o porque hay una persona
que escribe por ellas.
No porque esta conversación sea realmente verosímil
desde un punto de vista técnico.
Sin embargo,
de lo que no podemos estar tan seguros es de que la imitación
de la poesía no llega a superar de algún modo a la poesía,
de tal forma que objeto e imitación
se hagan indistinguibles.
Para un grupo de científicos y filósofos de la ciencia,
en un futuro muy lejano, no muy lejano,
las computadoras serán las sucesoras evolutivas de los seres humanos,
de manera que los robots inteligentes ocuparán el lugar
de la especie humana.
Esta tesis fue especialmente defendida en los años 80 de él.
Siglo XX.
Sin embargo, el defensor de esta tesis,
el principal defensor,
Hans Moravec, más tarde pondría algunas trabas a esta posibilidad.
Una de sus frases más famosas es,
los robots se encuentran fácil lo difícil y difícil lo fácil,
hoy conocida como la paradoja de Moravec,
y que viene a relatar de forma indirecta
una de las facultades más asombrosas del cerebro humano,
que no es otra que la de poder fabricar todo tipo de pensamientos,
sentimientos y acciones con apenas
unos pocos recursos energéticos y sin necesidad de un programa previo
alguno, algo inviable para cualquier forma de computación.
Aquello que llamamos intuición tiene el don de la simplicidad
y es probablemente ese rasgo propiamente humano lo que,
de manera más radical, nos diferencia de las máquinas en un futuro.
Paso ya a las conclusiones para abreviar.
A través de una breve ficción sonora hemos podido comprobar,
por una parte, la capacidad de la literatura,
en este caso dramática,
para utilizar elementos propios de la inteligencia artificial,
pero sin recurrir a ella.
Al tiempo que nos conduce a imaginar una realidad compuesta únicamente
por voces que, dialogando entre sí, tratan de imitar capacidades humanas
en lo que se refiere a la conciencia, la sensibilidad,
la memoria, la intuición, El relato, en su totalidad,
se constituye como fragmento metafórico que abre las puertas
a la interpretación crítica de la inteligencia artificial,
tanto en lo que se refiere a sus fines
como a los medios empleados en su constante desarrollo.
Muchas gracias.
Muchísimas gracias, Julio, por tu intervención
que ha puesto de manifiesto a través de esta creación
que has analizado,
esa línea tan difusa entre lo natural y lo artificial,
y que también nos ha puesto sobre la mesa
las implicaciones éticas de la inteligencia artificial
y también esos riesgos para la salud mental,
sobre todo, y emocional de los adolescentes,
que me ha parecido también muy interesante que lo hayas traído
a tu intervención.