Bueno, muchas gracias a los cuatro ponentes.
Nos queda poco tiempo, 15 minutos escasos para preguntas.
Y yo sí que querría hacerles una propuesta,
porque todos han hablado de la responsabilidad
sobre el uso de armas autónomas.
Hay un magnífico artículo que ganó el premio
Creado y Lombardero del Ministerio de Defensa
en el año 2022, de Laura González Calvalache,
muy bueno, además muy estudiado por parte de los jurídicos
de prestigio españoles, que habla exactamente,
me parece que se titula "La responsabilidad del Estado
en el uso de armas autónomas letales".
Es un documento que normalmente, no sé si está publicado,
pero está disponible en la red y yo les aconsejo que le echen un ojo
porque verdaderamente puede abrir mucho la mente sobre el tema.
En él habla principalmente de una cosa, que es
que el uso de armas autónomas letales por consenso ético
entre todos los países no es utilizado.
Y todos los países han decidido.
En acuerdos, en diversos acuerdos,
el no utilizar armas autónomas letales.
No armas autónomas, sino aquellas que pueden llevar
a la muerte de los sufridores de esas armas.
En ese punto, yo creo que está todo el mundo de acuerdo.
Siempre existe un punto de decisión, por lo que pone en este artículo
y por lo que es la doctrina internacional,
de que haya una persona que dé el voto.
Que dé a ese botón final,
que es el que decide utilizar de manera letal ese arma.
Aunque todo el procedimiento está sujeto a algoritmos,
está sujeto a software y está recogido por ese software,
por esa responsabilidad que hablábamos del gobierno,
del operador, del software, del jefe de la unidad que lo va a utilizar,
etcétera.
Pero esto a mí me lleva a una pregunta para David,
en particular sobre el punto que ha dicho, que es.
La única responsabilidad que hablamos es la de la decisión final,
de la utilización.
Pero no sabemos esas cajas negras
que tienen, no sabemos cómo están relacionadas,
cómo están los algoritmos, etcétera, etcétera.
Y a mí me gustaría que profundizaras un poco en cómo se puede.
¿Y qué riesgo representa?
El delegar procesos críticos, no la decisión final,
sino el proceso crítico que lleva a la selección de objetivos,
a la selección de procedimientos,
a través de esos métodos automatizados que ya son todos.
La cúpula de Yer,
todas las estrategias verdaderamente efectivas
tienen esa serie de.
Luis, vamos a preguntar a ellos.
Te veo que tú quieres contestar y lo sé, seguro que.
Pero a mí me gustaría que contestaran los.
Si luego tienes alguna aportación, nos la da David.
Yo te la dirijo a ti, pero a todos los de la mesa.
A mí me preocupa.
Podemos hacer una adquisición ética, moral o política
o jurídica sobre esto, pero esto para mí no tiene.
No tiene mucho freno.
Esto cada vez se va a utilizar más y cada vez se van.
Por eso yo planteaba este artículo.
¿Por qué?
Porque una vez que tú empieces a introducir la toma de decisiones
o empieces a utilizar más autónomas.
A pesar de lo que puedan decir los estados o los códigos de conducta
o el consenso jurídico sobre que no se van a utilizar.
Yo no me suelo creer esto muchas veces,
aunque se firmen tratados, porque hemos visto
que los tratados de desarme nuclear de un plumazón desaparecido.
En este sentido, a mí me preocupa sobre todo,
y por eso he hecho este artículo en el tema nuclear,
me preocupa porque yo he leído incluso a algunos autores
y dicen.
Simplemente que tú te acerques a unas instalaciones nucleares
y en un momento determinado ataques con un dron.
Entonces, por eso el ámbito multidomino
también me interesa mucho.
Estamos en una situación, yo creo, en la que nos empieza a ser difícil
diferenciar si estamos en el ámbito nuclear,
en el ámbito cibernético o en qué ámbito estamos, ¿no?
Yo creo que el gran peligro en el que nos estamos acercando,
aparte de que la inteligencia artificial tome decisiones,
que eso en el tema nuclear todavía no lo tengo muy claro,
Yo creo que en ese sentido empieza a ser muy peligroso para el control,
sobre todo el control de la escalada en conflicto.
El momento en el que dejemos en manos de inteligencia artificial
una toma de decisiones de ese tipo.
O, lo que yo decía antes,
simplemente dejar preautorizado el uso de armas nucleares
como se hace en la Guerra Fría.
Tanto los capitanes de los submarinos estratégicos norteamericanos
Como en la OTAN tenían preautorizado el uso de armas nucleares
y si desaparecía la autorización en la cadena de mando.
Entonces, nos podemos estar dirigiendo hacia este escenario
de nuevo en el que sea una inteligencia artificial
que toma la decisión.
A mí me.
Yo creo y pienso particularmente
que es un escenario que puede estar lejos todavía,
pero que se va a producir.
Y lo que yo no veo es una preparación para eso.
Ese es el miedo que a mí me da.
Porque generalmente cuando empezamos a analizar estos temas,
y perdón que me esté alargando, y a lo mejor Luis
puede mejorar mi decisión.
¿No?
¿Eh?
En este sentido, por lo que yo he estado leyendo,
yo cada vez lo veo más.
Veo que es un tema que se va acercando cada vez más
y no estamos tomando las decisiones necesarias para esto.
Y esa es la sensación que a mí me da.
Es un tema muy abierto todavía, pero a mí en el que más me preocupa
no es en un conflicto limitado como es el de Gaza o Israel.
A mí me preocupa que alguien ataque un submarino nuclear estratégico
con un arma.
Ese es el tema que a mí me preocupa,
porque en ese momento, ¿qué vamos a hacer?
Esa desaparición del concepto de disuasión.
Entonces, por eso decía que es interesante ver
qué decisiones están tomando los indios y los pakistaníes
en el conflicto que se acaba de abrir.
Nada más.
Perdona, Luis, pero vamos a intentar,
como queda muy poquito tiempo,
vamos a ver si hay alguna otra pregunta
para los ponentes.
Por favor.
Hola de nuevo.
Yo quería hacer una pequeña, compartir una reflexión
y a ver qué pensáis.
Por favor, intenta hacerlo lo más breve posible.
La respuesta, por favor, si me da.
Es un minuto, sí.
Entiendo que hay dos tipos de inteligencia artificial,
o dos formas de enfocarla.
Una para defender, como medio preventivo,
y otra para atacar.
Bueno, hablamos de la inteligencia artificial para atacar.
Aquí estamos hablando de que estamos trasladando la cultura
de los pueblos a la toma de decisiones.
Y esto es lo que realmente es preocupante,
porque una inteligencia artificial
desarrollada por China no va a tomar las mismas decisiones
que la desarrollada por la Unión Europea.
Cuando un país compra inteligencia artificial,
¿quién la ha desarrollado?
¿Qué hay detrás de eso?
La toma de decisiones.
Y si de verdad los errores que se producen luego
en la toma de decisiones
es porque no hemos utilizado la inteligencia artificial
adecuada.
Mi reflexión.
No, pero únicamente si alguien quiere comentar algo.
Yo es que no creo en eso de lo.
De que construyes una cosa ofensiva o defensiva.
Que es un arma nuclear es ofensiva o es defensiva.
Profesor Yervis, en un libro de los años finales de los 80,
ya establecía esto.
Si tú tienes un nivel de estabilidad estratégica,
la paradoja es que tú no vas a utilizar las armas nucleares.
Pero sí que eso va a hacer que la tendencia a los conflictos
por debajo de ese nivel sean cada vez más importantes.
El problema es,
y eso también lo decía el profesor Yervis en su libro,
el problema es cuando no hay estabilidad estratégica.
Entonces el conflicto va a escalar.
Y eso es a lo que yo me estoy refiriendo aquí.
Por eso decía yo que no me era tan importante,
entre comillas, que haya un conflicto limitado,
sino que cuando esa ruptura de la estabilidad estratégica
que se produce, la posibilidad de una escala nuclear
es mucho más.
Y hasta ahora, paradójicamente, hemos mantenido una situación,
vamos a decir, de estabilidad estratégica
porque existen las armas nucleares.
Yo por eso no las veo defensivas o excesivas.
Entonces, hablar de que la inteligencia artificial
puede ser ofensiva o defensiva, estoy de acuerdo con lo de los chinos.
¿Por qué?
El ejemplo que he puesto.
O sea, ellos leen sus revistas sobre ciencias militares
y lo que te están diciendo
es que ellos tienen una concepción completamente diferente.
Entonces, en tiempo de crisis,
la interpretación o cómo el manejo de la crisis se va a producir
es muy peligroso.
Y ahí tenemos, vamos a tener el tema de Taiwán dentro de poco.
Perdón que me haya.
¿Alguna pregunta más?
Yo tengo otra pregunta en principio para Lucía.
Que es con relación a los sesgos de género,
que los has hablado de manera profusa durante toda tu intervención.
Pero ¿esto qué quiere decir?
¿Que hay que sesgar el algoritmo en base al género?
Porque efectivamente los algoritmos,
como decías muy bien, están desarrollados
en base a relaciones históricas, a acciones históricas,
que efectivamente tienen poca acción de mujer.
Pero hay que estar.
Están en el bien y en el mal.
Entonces, hay que modificar una inteligencia artificial.
Tienes que modificar de manera, no sé si llamarle política,
institucional, el consenso ahora mismo de las sociedades,
de las nuevas sociedades que hablan de la necesidad de meter.
Yo veo muy difícil que se pueda.
Modificar un algoritmo de una inteligencia artificial
para que incluya una parte femenina
cuando verdaderamente no tiene esa historia.
Lo único que podríamos incluir sería un sesgo político,
por decirlo de alguna manera, político o ideológico dentro de eso,
con lo cual verdaderamente.
¿Seríamos capaces de ver como bueno que de una manera artificial,
no basado en la historia, no basado en el funcionamiento
de nuestras sociedades, de nuestra cultura,
meter un sesgo para que haya?
¿Hay una manera buena de hacer las cosas de mujeres
y una manera buena de hacer las cosas de hombres?
¿Es distinta o hay un bien y un mal,
una toma de decisión?
Esto hay que hacerlo porque pasa esto
y da igual que sea un hombre o debería dar igual que sea un hombre
o no.
O una mujer la que lo tomara.
No estoy del todo de acuerdo con lo que has hablado
con relación al sesgo de género.
Si puedes.
Sí, yo creo que es un poco más utópico
que realista.
Sí que es cierto que un poco por lo que he estado leyendo,
sobre todo en Estados Unidos, pre esta situación que tienen ahora,
sí que los desarrollos de inteligencia artificial
forzaban esta inclusión forzada, pero es forzada.
Yo creo que no.
Yo creo que al final.
Sí, sí, estamos de acuerdo.
Yo creo que al final en otras materias
un poco lo que se suele hacer es discriminación positiva.
Sí, sesgarla, efectivamente, es un sesgo.
Sí, sí, estamos de acuerdo,
estamos de acuerdo.
No voy a entrar en la discusión de la perspectiva de género,
pero creo que el concepto de sesgo es fundamental en el desarrollo
de la inteligencia artificial.
Yo recomiendo la lectura de dos autores,
Parasuraman y Sheridan, por ejemplo, que desglosan el empleo
de la inteligencia artificial en función de los casos.
Aquí, para simplificar, hemos hablado de inteligencia artificial,
Pero hay inteligencia artificial que se dirige a la labor humana
de observación, que es la de integración de imágenes.
Hemos visto un ejemplo que nos han propuesto
de la intervención contra el polar.
Hay un segundo elemento que es el análisis de la información.
Hay un tercero que es el de la toma de decisiones y, por último,
el de la automatización a la hora de actuar.
En esos cuatro bloques, la ética del empleo de la inteligencia artificial
es diferente.
Y en esa escala que va unida a una de las menciones anteriores,
va unida a una escala de riesgos.
Y esa escala de riesgos
es la que aconseja que haya una intervención humana,
lo que se llama el human in the loop,
o que no haya intervención humana.
Para fusionar muchas imágenes no hace falta que haya una persona
viendo si esas imágenes se fusionan bien
y ahí hay inteligencia artificial.
El problema de esto
es que cuando se desarrollan los algoritmos de inteligencia artificial
para cada una de esas cuatro fases
y como digo la de decisión es la que está todavía más lejos
porque implica toda la voluntad, el sesgo cognitivo del decisor,
toda la cultura estratégica que hay detrás.
Toda la información histórica
de cómo se han resuelto situaciones similares,
no olvidemos que la inteligencia artificial
no es un programa informático.
Aunque yo alguna vez en alguna ponencia le hice el chiste
en la Universidad de Jaén, por ejemplo,
de inteligencia artificial antes llamada programa informático,
hay un elemento que es clave, que es que nosotros antes le dábamos datos
y le dábamos reglas y nos acaba con la siguiente jugada.
Ahora no, ahora le damos datos y le damos soluciones
y él calcula y aprende cómo es la regla que ha llevado
que ese dato diese esa salida.
Entonces, si estamos discutiendo si la guerra es arte o es ciencia,
llevar a eso a un desarrollo de algoritmo
en el proceso de decisión todavía está lejano.
Y por eso tenemos al human on the loop.
Pero una vez que se ha determinado que se va a actuar el automatismo
de ese arma letal, ha implicado que en el desarrollo de algoritmos
haya sesgos que no serán de género, sino que serán culturales.
Los desarrolladores de todos esos algoritmos
dirán si merece la pena tirar de la palanca
y desviar el tren porque tengo una cultura,
una ética de la virtud en el que me dice
que prefiero sacrificar a uno en vez de a cinco.
Y eso es parte de nuestra cultura estratégica.
A lo mejor en el caso de China, con su cultura estratégica,
prefiero perder,
porque estamos viviendo en el frente de Ucrania,
prefiero perder.
Miles de vidas para alcanzar un objetivo.
Entonces, ese sesgo ético
que lleva el desarrollo de esa inteligencia artificial
implica que tenemos que tener autonomía propia para desarrollar
esa inteligencia artificial de acuerdo con nuestros valores.
Y ahí es donde sí que tenemos un riesgo,
que en España no estamos buscando esa autonomía.
Estamos buscando comprar productos que implementan
con otras culturas estratégicas.
Soluciones que luego nosotros vamos a tener que aplicar.
Francisco, muchas gracias.
Como no había más preguntas,
por favor, Luis, te doy los dos minutos que antes requerías.
Dos minutos.
Era un placer mi coronel al hilo
de la exposición suya me vino a la mente
y una obra que algunos la conocemos otros no
pero es de referencia fundamental fue escrita si no me equivoco en 1988
en esa época que es el libro a la guerra del futuro de alvin heidt
y doble que vienen a describir todos estos procesos
que hemos estado haciendo referencia hoy desde.
El tema de armas autónomas, armas hipersónicas,
procesos de toma de decisiones.
¿Por qué?
Y esto enlaza con la intervención de David Cantalapiedra.
Es que ya al final de la Guerra Fría
se implementó un sistema de lanzamiento automatizado,
que es la mano muerta o el sistema perímetro.
Es decir, en caso de un ataque
de descabezamiento que acabara con la dirigencia soviética,
el sistema lanzaría las armas y no había inteligencia artificial.
Era solo eso, mijo.
Mañana empezaremos la siguiente sesión de paneles
a las 10 de la mañana,
me parece, ¿no, Clara?
A las 10.
Muchas gracias a todos.