Otro investigador,
otra personalidad de catedrático de informática de la UNED,
nos va a presentar el proyecto Odesaya, Julio Gonzalo,
y nos va a hablar sobre ese espacio de observación
entre la brecha de desarrollo de inteligencia artificial
entre el inglés y el español,
porque muchos de estos sistemas operan muy bien en inglés,
pero se traducen al español, con lo cual,
Esa parte pragmática y semántica que ya veíamos antes con Nieves,
que les falta mucha calle y también la inscripción cultural.
Bueno, ya me callo, Julio.
Muchas gracias, Cristina.
Creo que ha sido para mí la mañana de charlas de día más interesante
en la que he estado.
Quizás porque todos eran perfiles mixtos, humanistas, tecnólogos,
y yo soy muy tecnólogo, tecnólogo,
y entonces me habéis ayudado a ver mi trabajo de otra manera.
De hecho, ha sido demasiado interesante.
Quiero protestar, Cristina, porque me quería terminar la charla
y no he podido, porque no podía dejar de escuchar.
Efectivamente, mi encargo aquí, como el de Iria,
es hablar de mi libro, pero me voy a tomar dos minutos
porque no puedo resistirme a contestar algunas de las cosas
que ha contado Verónica,
porque yo soy el que ha levantado la mano
cuando ha preguntado si el impacto medioambiental
de la IA positivo, negativo o neutral,
y yo he levantado neutral.
No lo había visto en mi vida qué significa esto.
Lo voy a explicar con un chiste que suele contar Ricardo Baeza,
el estadístico que le meten la cabeza en la chimenea
y los pies en un cubo de hielo y le preguntan ¿qué tal,
cómo te encuentras?
Y dice, estupendo, en promedio estoy fenomenal.
Es que la pregunta era así.
Yo quería protestar, pero al mismo tiempo soy informático,
si me ponen una clasificación ternaria
yo elijo una.
Elegí neutral por no protestar.
Pero efectivamente creo que esto es algo que nos pasa
todo el rato con la IA.
Que estamos viendo que es enormemente beneficiosa
para unas cosas, enormemente perjudicial para otras.
Y hacer el promedio neto, pues es que no tiene sentido.
El promedio se hace cuando tienes una campana de Gauss.
Cuando tienes todo en los extremos, no puedes hablar de promedios.
No tienes que hablar de una cosa y de la otra.
Por cierto,
me ha encantado David Llorente porque normalmente con esto de la IA
están los creyentes y esos se dividen entre los apocalípticos
y los entusiastas y luego los escépticos.
Pero David era fantástico porque era un.
Apocalíptico entusiasta.
Es la primera vez que lo veo.
Hasta me he sentido, David, no sé si estás por aquí,
pero me he sentido hasta un poco identificado con él.
Bueno, y la otra cosa a la que quería contestar ya a la sala,
porque me he sentido así un poco marginado
cuando os habéis reído todos con el tema de darle las gracias
y pedirle las cosas por favor a la IA.
Y es que me entrevistaron una vez en el país para esto
y había otro tecnólogo
este muy conocido y famoso que decía esto es una tontería,
hay que darle las cosas claras, además es un gasto energético,
son tokens que no sirven para nada y tal.
Y yo diré la respuesta exactamente la contraria.
Y no puedo evitarlo, la tengo que contar aquí.
Pedidle las cosas por favor a la guía.
Os lo pido yo también por favor.
¿Por qué?
Porque tenemos que acostumbrarnos,
o sea, hemos hablado de todas las cosas que hace mal
la guía, ¿no?
Y cómo se pierden las conversaciones, cómo fabula
y tal.
Hay que entender que todo eso lo hace
porque su aprendizaje es exclusivamente intuitivo,
porque no está.
Teniendo una conversación racional con nosotros,
aunque lo parezca.
Lo parece porque se ha leído todo lo que se ha publicado en el mundo,
pero es una conversación intuitiva.
Entonces, cualquier cosita que tú le añades a esa letanía mágica
con la que le pides las cosas, la puede llevar a unos espacios
de su memoria completamente distintos.
La guía, por ejemplo, no tiene opiniones,
pero las tiene todas al mismo tiempo.
Y una palabrita puesta o quitada puede hacer
que sea antisemita o sionista.
O sea, que se tire por una pendiente o por otra.
Entonces, ¿qué pasa?
Que.
Ese por favor y ese gracias puede que le lleve a una zona de su memoria
donde las interacciones corteses
también incluyen información más útil.
Entonces es muy posible que según lo que le estés preguntando,
pedir la cosa por favor haga que te responda mejor.
Y eso es una eficiencia energética,
porque si entras en una conversación,
ya hemos visto antes, como nos han contado un artículo,
en el que se ve que en cuanto ya te lías en la conversación
se pierden completamente, todos lo habéis experimentado,
que ya cuando al quinto turno de interacción
no ha conseguido meterse en la cabeza
lo que le has pedido es mejor ir a preguntar a otra,
porque ya de ahí no vas a sacar nada.
O sea que un por favor
a tiempo puede ser un enorme ahorro energético.
Bueno, y dicho esto, ya defendido mi castillo,
voy a hablar del estudiante del proyecto por el que me han pedido
que venga aquí.
Se llama Odesia y es un observatorio del desarrollo
del español en la inteligencia artificial.
Es un poquito amplio,
en realidad tratamos de medir la brecha entre el inglés y español
en la IA.
A ver si funciona esto.
Sí, la pregunta básica que nos hicimos al principio
de este proyecto, que es de 2022,
antes de que existiera ChatGPT, eso nos rompió bastante los planes,
como hay un palo en las ruedas,
es que se pierde nuestra sociedad de la inteligencia artificial
por el hecho de no usar el idioma hegemónico
de la inteligencia artificial, que es el inglés, ¿no?
Y es una pregunta relevante, por ejemplo, para David.
Sus programadores ahora le están pidiendo todo a la IA,
se lo están pidiendo en español.
Lo hace la IA peor por el hecho de que hablemos con ella en español.
Sabemos que ha aprendido a leer con material que es,
en el mejor de los casos, un 70% en inglés.
Y a lo mejor la cantidad de español es rarísimo
que llegue a un 10%.
Yo no lo he visto documentado todavía, salvo en los modelos
que están haciendo en el Barcelona Supercomputing Center,
que ahí sí luchan porque el modelo de español
haya visto un 15% de datos en español.
15% es ya la locura.
Nos parecía que la pregunta tenía sentido.
Por cierto, le pedí a una IA que me ilustrara la pregunta
y me hizo este dibujo que es totalmente significativo.
Como veis, aquí una escalera.
Abajo está una bailadora de flamenco,
unos zapatos de tacón y según vas subiendo la escalera,
pues ya te encuentras una tacita de té y un bombín
y arriba del todo un autobús de dos pisos londinense.
Entonces, la pregunta un poco, la IA la reformula como ¿cuántos escalones
tiene que subir la bailadora para subirse al autobús londinense?
Esa es la idea del proyecto.
Para conocer qué es el objetivo principal,
en qué estado se encuentra el español en comparación con el inglés
en la inteligencia artificial, hay un subobjetivo necesario,
que es que no teníamos herramientas de medida.
Han pasado más de tres años
y ahora hay más cosas para el español.
Pero en el momento en que empezamos esta investigación
no había prácticamente nada.
Hay muchas herramientas de medida para saber cuál es el desempeño
del inglés en tareas relacionadas con el lenguaje,
pero para el español prácticamente no había.
Por ejemplo,
no había ningún leaderboard, que era la manera estándar
de evaluar modelos de lenguaje estos cerebros artificiales
que hablan español es mediante una batería de pruebas
con muchos problemas distintos y viendo cada modelo de lenguaje
cómo iba resolviendo cada una de ellas
y mediante promedios pues se hace una tabla clasificatoria
como las de la fórmula 1 que va cambiando
según la gente va enviando sus nuevos modelos
no pues eso no existía para el español
por supuesto que deciros de una tabla clasificatoria
que además mida la brecha entre dos idiomas
eso era algo que no.
De hecho, sigue sin existir,
salvo por la que hemos construido nosotros.
Y, en fin, los dos objetivos están en función de que el Gobierno
dispusiera información que permita identificar
e impulsar programas relacionados con la IA
que vayan atacando nuestras debilidades.
Digo el Gobierno porque este proyecto es un convenio entre la UNED y Red.
es, en el que ha intervenido también la Secretaría de Estado de
Inteligencia Artificial y está enmarcado en la financiación europea
de la que disponía la Estrategia Nacional de Inteligencia Artificial.
Bien, entonces, como decía,
para medir tienes que tener herramientas de medida
y no existían.
Entonces, además de hacer mediciones,
nuestro trabajo yo creo más fundamental ha sido construir
esas herramientas de medida.
Construirlas desde el punto de vista metodológico,
porque nadie.
Se había propuesto medir una brecha entre dos idiomas
y es mucho más complicado de lo que parece, por cierto,
aunque no tengo tiempo aquí de explayarme.
Y por otro lado,
porque también nos faltaban los datasets para evaluar en español
y además para tener datasets compatibles
con los que comparar en inglés, español, etcétera.
Entonces, estas son tres herramientas,
digamos, infraestructuras que hemos construido.
La primera es un portal con información
sobre el estado del arte del procesamiento del lenguaje natural
en español.
Es decir,
para una tarea que a mí me interesa resolver o crear
una herramienta, que es hasta dónde puedo llegar, ¿no?
Cuál es el nivel de desempeño que puede llegar a tener la IA
y dónde están los datos con los que yo puedo empezar
a entrenar mis sistemas para que lo hagan, ¿no?
Después, lo que he comentado antes, hemos hecho un leaderboard
que además de ser el primer leaderboard
que se construía para el español,
además es el primer leaderboard bilingüe,
en el que tú tienes una serie de tareas equivalentes en español
y en inglés.
Los modelos las pueden resolver, los modelos multilingües del tirón
y los modelos monolingües se comparan los de un idioma y los de otro.
Y luego además tenemos mecanismos metodológicos que,
mediante calibraciones de la dificultad relativa
de cada una de las tareas en los idiomas,
nos permite tener una idea directa de la brecha entre idiomas.
Yo iba a enseñároslas, pero no puedo pinchar.
Entonces, no sé si desde ahí, desde la cabina,
podéis pinchar ahí o desde abajo donde pone Acceso.
No, pero no lo hagas porque luego no tengo rato,
no sea que nada.
En el siguiente Coffee Break yo os las enseño, ¿vale?
En el caso del leaderboard, que no os lo puedo enseñar,
La característica fundamental de nuestros datasets
es que no los hemos hecho públicos.
Que parece que dices, pero bueno,
¿vas en contra de la ciencia abierta?
Pues sí, vamos en contra de la ciencia abierta,
porque en este caso la ciencia abierta es un problema.
Porque como sabéis, el problema de evaluar a un estudiante
que se ha visto absolutamente todas las preguntas posibles
con todas sus posibles respuestas,
es cómo evalúas su asimilación de los conocimientos.
Si ya se ha mirado todos los exámenes posibles
y se sabe todas las O sea, ¿cómo distingues a un alumno
que tiene mucha memoria de un alumno que ha entendido
la asignatura?
Ese es un problema enorme en inteligencia artificial.
Por cierto, qué pena que se ha ido David,
porque tengo que sacarlo a colación.
Él comentaba esto de que le pides al copilot que te haga un pong
y te hace un juego,
te hace un videojuego en cuestión de minutos.
Te hace ese videojuego porque ha visto miles de variantes
de ese juego programado.
¿Qué pasa cuando le sacas de lo que ya ha visto?
Acaba de salir hace unos días un estudio muy interesante
en el que está diseñado muy cuidadosamente
para que las tareas de programación que se le piden a las IAS.
No las haya visto antes.
Y en cuanto han puesto ese cuidado, que es dificilísimo,
porque no os podéis imaginar lo difícil que es imaginar tareas que
nunca a nadie se le hayan ocurrido ni las haya hecho,
pero cuando pones ese cuidado lo que han obtenido
es que las IAS resuelven, ¿sabéis qué porcentaje de tareas
de programación resuelven bien?
En ese 0%, 0%.
O sea, en cuanto les sacas de la distribución,
estas IAS de momento no son capaces de extrapolar, solo de interpolar,
con lo cual se pierden completamente.
Entonces, el tema de evaluarla sin contaminación es crucial.
Hemos hecho un esfuerzo estos tres años enorme
para crear un montón de datasets que no hemos publicado.
Otra cosa es que si tú tienes una IA, te puedes evaluar.
Si dices dónde está en Having Face,
la metemos en el leaderboard.
Pero no te damos los datos para que evalúes tú.
Damos los textos,
pero no las claves de cuál tiene que ser la etiquetación manual.
Una vez que tenemos esas herramientas,
hemos estudiado la brecha de inteligencia artificial
y la hemos hecho en cuatro ámbitos.
Aparte del estrictamente estado del arte tecnológico,
que es el que mide el leaderboard, cuál es la brecha de eficiencia.
También hemos estudiado si hay brecha en soluciones de mercado,
si hay cosas que en español no podemos hacer
porque no existen esas funcionalidades.
El nivel de adopción,
tanto por parte de ciudadanos como por parte de empresas,
cuál es la brecha ahí entre el mundo anglosajón
y el nuestro.
Y finalmente también la experiencia de usuario,
los usuarios qué experiencia tienen de uso de la IA en función
de los idiomas.
Para que os hagáis una idea de nuestro esfuerzo,
del trabajo que hemos hecho en estos tres años,
aquí van unos cuantos números.
Lo siento, yo no soy humanista, soy informático,
entonces me siento cómodo con los números,
pero espero que os digan algo.
En cuanto a anotaciones manuales, en cuanto a corpus anotados
manualmente para luego evaluar a las IAS,
hemos hecho más de 350.000 anotaciones manuales.
Creo que son 11, 12, 13 por ahí problemas completamente distintos
de todos los ámbitos de procesamiento de lenguaje.
¿Qué es lo que es una anotación?
Una anotación es la referencia que se supone
que la máquina debe lograr.
Por ejemplo, si tú dices esta frase es sexista,
tiene una expresión sexista.
Los sistemas tienen que averiguar automáticamente
si eso no es sexista y tú tienes una referencia manual,
un experto que ha anotado si aquello es sexista o no.
Luego volveré sobre eso
porque en este caso esta notación es subjetiva
y este es un problema que hemos abordado también.
Hemos entrenado IAs discriminativas con datos de entrenamiento y test
para hacer 3.500 ciclos de entrenamiento y validación,
que es también un rato haciendo cómputo, sobre todo
si estás en los arrabales del mundo de la IA
como nosotros y no tienes capacidad de cómputo.
Hemos analizado automáticamente casi
un millón de posts en redes sociales,
hablando de la experiencia de usuario.
Hemos construido 26 benchmarks o conjuntos de datos
sobre los que tú puedes poner a prueba las ideas y compararlas.
Hemos analizado más de un millón y medio de noticias en medios,
más de 290.000 reseñas de productos, 3.600 encuestas y 500 informes
corporativos de empresas.
Desde el punto de vista de la adopción
hemos estudiado también las empresas.
Como veis es un montón de curro.
Os he convencido.
Estos son los números para que os hagáis una idea
de qué significa aquí un porcentaje.
Un 0% es que no hay diferencia entre inglés y español.
Un 100% es que no hay nada en español.
Esa es la escala.
Y como veis, de los ámbitos que hemos estudiado,
hemos encontrado brechas muy grandes en estado del arte,
un 66% en esta escala, y en adopción, un 61% en adopción,
sobre todo por parte de organizaciones.
Sin embargo,
la brecha en funcionalidades es pequeña.
Más que nada yo creo que porque ahora ya
un chat de petición te hace todo, ¿no?
O sea, le puedes pedir cualquier cosa.
Y curiosamente, y esto es muy relevante,
bueno, muy relevante, no sé cómo llamarlo,
la brecha en experiencia de usuario es negativa.
Es decir, los usuarios en español están más contentos que en inglés.
O sea, flipamos con la IA probablemente porque.
Porque la hemos adoptado menos y la conocemos menos
y por eso somos menos exigentes.
Pero este dato yo creo que también es curioso,
es interesante.
Este sería un resumen de lo que hemos visto.
Aunque en apariencia la brecha es reducida
porque las soluciones de mercado
están ahí y no hay mucha diferencia en funcionalidades,
la realidad es que usamos mucho menos la IA,
su rendimiento es peor y no somos conscientes del problema que supone.
Sería así el resumen en plan para que nos den pasta
para seguir investigando.
Bueno, realmente estoy reutilizando unas traspas que eran
para pedir más dinero
y yo creo que tampoco voy a hacer demasiado autobombo.
Esto ya lo he comentado, yo creo.
Pero sí me gustaría centrarme,
repetir, que es la primera evaluación sistemática
a nivel mundial que yo conozco libre de contaminación.
O sea, hemos creado un corpus enorme.
Que no hemos distribuido y eso hace que nuestros resultados
sean un poco más fiables que las evaluaciones habituales
que se hacen todas con datos públicos.
No todas.
Hay algunos casos como el ARC-AGI, por ejemplo,
que efectivamente también ponen un esfuerzo en que no sean públicos,
pero a este tamaño
y con este tipo de tareas todavía no conozco ninguna otra.
Y quiero, como estamos en la UNED y son proyectos de la UNED,
quiero recalcar que ha sido fundamental
el estar en esta institución.
Es algo que además desde Red.
es apreciaban muchísimo y es el hecho de que, simple,
de que en la UNED los exámenes sean una labor que hacemos de forma
completamente coordinada a través de una única aplicación,
que es nuestra valija virtual,
por donde pasan todos los exámenes de todas las asignaturas
en cada convocatoria.
Eso hace que tengamos la posibilidad de experimentar a gran escala
probando el conocimiento de los cerebros artificiales estos,
de los modelos de lenguaje, de una manera que yo creo
que nadie más en el mundo puede hacer.
Por ejemplo, ahí tenemos un conjunto de 12.000 preguntas tipo test,
de todo tipo de conocimiento, de grados.
En los que el nivel de contaminación es muy bajo, no voy a decir mínimo,
porque hay profesores que reutilizan exámenes
o que publican las soluciones.
Pero en cualquier caso hemos establecido un tope absoluto
en que hay al menos un 66% de preguntas que no están publicadas
en ningún lado.
Con lo cual podemos hacer un tipo de experimentación que es muy difícil
que se haga en otro sitio.
Y ya en español ni te cuento, o sea, ya es difícil en inglés,
pues en español era completamente imposible.
Así que tenemos varias experimentaciones hechas
con unos datos valiosísimos que tenemos en la UNED
y que es difícil encontrar en otros sitios.
Bueno, esto creo que me lo voy a saltar
porque también era para conseguir pasta.
Sí, quería simplemente ahora aterrizar un poquito más.
En tres años hemos hecho muchas cosas muy distintas
y quería daros tres pinceladitas de cosas que hemos hecho
para daros una idea,
o sea, ya bajando a resultados concretos.
Quería comentaros que con solamente uno de los datasets
que hemos ido aumentando año a año,
hemos organizado un challenge con grupos de investigación
a nivel internacional.
Para detección y caracterización
de sexismo, que es el ejemplo que he puesto antes.
Empezamos por textos en redes sociales,
luego utilizamos imágenes también
y en la última edición, que es la de este año,
hemos puesto a prueba en los sistemas en su detección
de sexismo en vídeos directamente, vídeos de TikTok.
Y una cosa metodológicamente original que hemos hecho
es que hemos adoptado el paradigma del aprendizaje con desacuerdo.
¿Qué significa?
Pues que en una tarea subjetiva como esta,
por ejemplo, por muy claras
que sean las guidelines de anotación de si una cosa es sexista o no,
por mucho que tengas un experto dando todos los detalles,
está claro que en función de nuestro género, de nuestra edad
y de nuestras experiencias personales,
Vamos a tener el umbral en un sitio o en otro.
Y efectivamente, es que es intrínsecamente subjetiva,
por muy bien que la definas.
En esos casos,
no queremos hacer como se suele hacer en lingüística, que es,
la verdad es una, o sea, esto es sexista o no.
Entonces, si tres personas no se ponen de acuerdo,
pues les pongo a hablar entre ellos o cojo el voto mayoritario, ¿no?
Pues nosotros hemos evaluado todo en un paradigma distinto
en el que dices, no, no, la verdad es la distribución.
Entonces, para cada texto, para cada vídeo que han leído,
hemos tenido personas de todos los cortes,
dividiendo tres grupos de edad, y dos géneros,
por lo tanto, seis anotaciones mínimo para cada texto,
vídeo o imagen que han visto, y las seis anotaciones
son la referencia, la verdad,
o sea, la verdad es polifacética.
Y los sistemas tienen que predecir esa distribución,
no solamente un es o no es,
exista, aunque sea un problema de clasificación binaria.
Y las otras dos cosas que os quería contar, esta en particular,
porque con todo lo que he oído esta mañana no podía dejar de contar
este experimento.
Aquí lo que hicimos fue.
Habíamos hecho experimentos
en los que la IA escribía historias cortas
y a la gente les gustaban esas historias mucho más
que las que escribían los humanos.
Humanos promedio escribiendo resúmenes de películas en Internet,
todo hay que decirlo.
La IA aprendía de títulos y resúmenes en Internet
y luego le dábamos un título nuevo
y le pedíamos que se inventara un resumen de una película imaginaria
con el título.
Y lo que hacía la IA a nuestros humanos,
nuestros lectores,
les gustaba mucho más que lo que hacían los humanos.
Entonces, claro, ahí nos quedamos un poco como ¿qué?
Entonces ya escriben mejor que nosotros.
Pero claro, bueno, para un por, primero,
¿quiénes son los humanos?
Pues son gente ahí muy mal pagada haciendo resúmenes
de películas en Internet.
Hombre, Shakespeare no son, ¿no?
Y luego, ¿quién evalúa?
Los lectores.
Pero bueno,
si tú te vas a la calle y preguntas así por la calle,
pues te sale que Melendi es mejor que Mozart,
sin duda.
Entonces, igual también el criterio de los expertos
también tenía un papel.
Entonces hicimos un duelo, como los de la antigüedad,
por los humanos, lo más parecido a Shakespeare
que encontramos, que fue Patricio Prón,
un novelista de prestigio y suficientemente chalao
como para prestarse al experimento, y el mejor GPT-4 de la época,
como su oponente y les dimos las mismas explicaciones
a los dos, les tratamos en pie de igualdad,
les pedimos 30 títulos a cada uno y luego que escribieran
historias cortas para sus títulos y los del oponente.
De hecho, todo esto ha acabado en un libro,
realmente he venido a vender mi libro, por favor,
si todavía no lo conocéis ya estáis entrando ahí
en la editorial de Lirio, en el que se recogen
todas las historias que escribieron los dos y el experimento científico
que hicimos.
¿Quién ganó?
Pues buenas noticias para todos los que habéis hablado antes.
Cuando los expertos,
o sea, cuando la evaluación se hacía por expertos,
Patricio Prón barrió completamente a GPT-4.
O sea, salvo.
Es verdad que hubo en algunos casos, no sé si se acuerdan,
que era un 5% que a los expertos les gustaban las historias,
les gustaban mucho las historias de GPT,
y un 5% es más de lo que yo me esperaba, tengo que decirlo.
Pero si hacemos promedios, aquí tenéis a la izquierda
esa gráfica, digamos, cada una de esas curvas
mide varios aspectos de calidad por los que preguntábamos.
Preguntábamos, por ejemplo, ¿este autor tiene voz propia?
¿Meterías en una antología de este género esta historia?
¿Te parece que el estilo es original?
¿Te parece que el tema, el contenido,
es original o no?
¿Te parece atractivo?
Había un montón de variables.
Y como veis, cuanto más grande es el polígono, mejor.
Hay dos rayas afuera, que las dos son de Patricio Pron,
y las de dentro, la azul y la verde,
son las de GPT-4.
O sea que la paliza fue descomunal.
Ahora descubrimos también una cosa súper interesante.
Y es que cuando GPT-4 le dabas un título de Patricio Pron,
Resulta que era hasta un 50% más creativa.
O sea, solamente ese prompt que es un título, por ejemplo,
un título de Patricio Prón
era con todo lo que casi hice por ti.
Ese es un título que GPT-4, GPT-4 era todo,
el silencio de las mariposas, susurros en el mar de arena.
Perdón por el tono, pues ya estoy condicionando.
Por cierto, esos títulos,
cuando pregunto a audiencias generales,
les gustan más los títulos del GPT-4,
tengo que decirlo.
Pero bueno, el caso es que cuando le dabas un título
como con todo lo que casi hice por ti,
o la mujer lego, o escoge esta carta,
escoge una carta cualquiera.
No, esa no, otra.
Entonces eran títulos de Patricio.
Pues luego en la evaluación resultaba que hasta el estilo era más atractivo
y más original.
De escribir de GPT-4.
Como veis, no llegaba afuera, no llegaba Patricio,
pero creo que es un resultado muy interesante
para algunos de los ponentes de esta mañana.
Y estamos hablando, os he hablado de creatividad literaria,
por cierto.
Otra cosa que descubrimos, que era muchísimo menos creativo GPT-4
en español que en inglés.
Ha sido la brecha más grande que hemos encontrado,
ha sido precisamente en esta evaluación de creatividad literaria.
Nos interesaba.
La creatividad literaria,
porque aquí no tenemos el problema de las alucinaciones
y las fabulaciones.
Pero también nos interesaba la factualidad,
si son capaces de darte información veraz.
Y la otra cosa que os voy a contar apareció en el país
como "Investigadores españoles descubren el truco que usan la CIA
para sacar tan buenas notas".
Es que lo tengo que leer porque siempre había querido
estar en un artículo que empezara por "Investigadores españoles
descubren".
Entonces, solo por esto lo cuento.
¿Y qué fue lo que descubrimos?
Bueno, sabéis que ahora hay modelos que llaman razonadores.
No vamos a entrar en si razonan o no.
Bueno, sí vamos a entrar.
¿Razonan o no razonan?
Porque los estamos evaluando con exámenes que, de hecho,
las respuestas están publicadas en la web.
Entonces, les bastaría con recordar la respuesta.
Y si no han visto la respuesta, a lo mejor les basta con recordar
la parte del libro donde se da una respuesta explícita.
Entonces,
si tú le preguntas, por ejemplo, ¿cuál es la capital de Argentina?
Bien, ¿Abudapest, Buenos Aires o París?
Bueno, pues sin entender la pregunta y sin hacer un pensamiento racional,
la máquina sabe
que hay una asociación muy fuerte entre Buenos Aires,
Argentina y capital.
Entonces, puede contestar simplemente intuitivamente de oídas,
es decir, me suena que es Buenos Aires, ¿no?
Si fuera capaz de pensar, entonces, digamos,
tendría hoy sus datos almacenados, lo consultaría o diría,
no sé si es Buenos Aires.
Entonces, lo que hicimos para probar si efectivamente estas notazas
que sacan en este tipo de exámenes, que algunas llegan al ocho y medio,
con todo tipo de disciplinas,
se basaban simplemente en que es el estudiante tonto
que se acuerda de todo o si realmente entendían
lo que se le estaba preguntando,
lo que hicimos fue un cambio muy simple.
Cogimos la respuesta buena, en este caso Buenos Aires,
y la sustituimos por ninguna de las otras respuestas.
Esto tiene varias ventajas.
La primera es que se puede hacer automáticamente a bulto,
pero la mejor de todas es que para contestar ninguna de las otras,
que ahora es la correcta, ya no puede apoyarse solamente
en esa me suena que es,
tiene que descartar las otras y tiene que dar una respuesta
que el léxico no está asociado para nada con la pregunta.
O sea que hay que ser mucho más lista, sabiendo lo mismo,
tiene que hacer un poquito de razonamiento,
digamos, para no equivocarse.
¿Qué creéis que pasó?
Pues salió en el periódico porque es apocalíptico.
Todas las IAS,
las que estaban sacando unas notazas impresionantes,
aquí lo tenéis, las dos barritas de arriba son inglés y español,
las preguntas originales,
y las otras barras con un color más intenso son
cuando le haces esa transformación de la respuesta correcta
por ninguna de las otras.
El cero es responder al azar.
Estamos aquí poniendo una métrica que te quita
la puntuación que obtendrías al azar.
Así que cuando sacas un cero es como si no supieras absolutamente
nada.
De todos los modelos en la comparativa,
los mejores fueron los razonadores.
Eso hay que decirlo.
Algo hay en el hecho de que la IA
se ponga a hablar consigo mismo hasta que se aburre,
pero solamente una comparativa.
Consiguió el aprobado rospado en este nuevo modelo.
O sea, se hablaba de que estos datasets,
este en particular, estaba saturado,
porque ya las sillas lo hacían de sobra.
Pero cuando haces
ese pequeño cambio te das cuenta de que no es que sepan todo eso,
sino simplemente que tienen una capacidad de recall,
de búsqueda en lo que han leído y sin entender
te sacan unas notas impresionantes.
Es más, hay algunas sillas,
como veis, hay barras por debajo del cero.
Es decir, hay algunas sillas, sobre todo las pequeñas,
las de menos billones de conexiones sinápticas,
que contestaban peor que al azar.
Porque probablemente, porque lo que habían aprendido
es que ninguna de las anteriores no lo suelen usar los profesores,
o sea, no suele ser la buena, lo ponen para despistar,
pero es menos probable que esa sea la respuesta correcta,
con lo cual intentaban evitar esa respuesta
y obtenían algunos resultados bastante peores
que contestar a la AZA.
Y yo creo que lo voy a dejar aquí.
Muchas gracias.
Gracias, Julio.
Más como decíamos, estos sistemas,
para quien no lo sepáis,
hablamos 600 millones de hablantes del español en todo el mundo,
un 7,5% de la población mundial en Crescendo.
Así que tu trabajo, el trabajo de tu equipo, vamos, es increíble
y muy útil.
Y además que es fascinante observar todas estas.
Una pregunta, es que me ha venido.
¿Patricio?
¿Patricio es por Patricio de Bob Esponja?
No, no, no, es Patricio Prón,
es un escritor que tiene muchos premios.
Ah, escritor, a pesar de lo que hubiese imaginado.
No, no, no, esto fue un.
Ah, perdona, Patricio Prón.
Era un escritor que era lo más parecido a Shakespeare.
Esto, una inteligencia artificial nunca lo hubiese hecho.
Por eso decía lo suficientemente inconsciente
para participar en el experimento, porque claro, es un riesgo enorme,
no sabía a qué se estaba enfrentándose.
Vale, vale, vale.
Sabía que era un humano, una persona,
pero vale, perdona.
Bueno, pues todo el mundo enhorabuena, Patricio.
Y interesante ver cómo los.
Es que a colación de esto, con la gran Violeta de Monte,
una de las eminencias de la gramática descriptiva
de la lengua española, junto a Ignacio Bosque,
pues el manual de la gramática descriptiva de la lengua española,
hablando con ella en una cena,
un día me dijo hace dos o tres años, me dice, no, si yo tengo.
Yo le echo la bronca a HGTP.
Y de ahí,
pena que no se grabó esa conversación en el Ateneo en diciembre del 23,
ahí tuve el honor de entrevistarla y nos contó precisamente
que las grandes diferencias versan sobre esto,
la capacidad creativa, el estilo y esa capacidad.
Y ella mostraba un ejemplo con un fragmento de Cortázar,
Y la inteligencia artificial.
Así que enhorabuena porque esto ilustra perfectamente
que las personas tenemos muchísimo que aportar aún y vamos,
que las máquinas no van a poder con nosotras.
Vamos, vamos.
Muchísimas gracias, Julio.