Muchas gracias por invitarme y por venir todos
y me iba a presentar, pero ya me han presentado,
así que lo dejo.
Efectivamente, yo soy uno de los integrantes del proyecto.
Desea esto es un convenio de colaboración entre las entidades
Red punto.
Es la UNED y oye,
cuyo título es esta observación del desarrollo de España
y la inteligencia artificial.
Antes de empezar me gustaría decir que nos van a tener
este que es muy interesante.
Me gustaría hacer una pequeña encuesta,
y es cuando vosotros creéis que estos modelos súper modelos
que tenemos ahora muchas te oyen ni en una superinteligencia
que tienen capacidad de razona ari deducir.
Por el contrario, crees que son sistemas que son capaces
un poco bueno, pues de decir ciertas respuestas
que en ciertos casos aciertan en ciertos,
no lo tienen, que te intuición, lo que nosotros llamamos un poco
los puñados estocástico no, y bien de vosotros.
Piensa que es una superinteligencia que es capaz
de razonar, que levante la mamá da nadie,
guardias estábamos viviendo hace un año y pico;
era todo el mundo y levantaba la mano esa que tiende a vosotros
quiere que es un cuñado estocástico este sábado
sin saber si no te gusta a tu lado.
Estoy práctico básicamente,
y efectivamente es el responde un poco de oídas,
cuñado decirse estocástico;
es decir, que siempre sabe de todo, pero en realidad no sabe de nada,
no, y entonces te pueden meter en cualquier por medio.
Bueno, pues esto es un poco lo que nosotros queríamos
con este proyecto.
No sé hasta qué punto que estos modelos de inteligencia artificial,
especialmente los de tecnologías del lenguaje, son capaces de pensar,
de razonar, qué funcionalidades tienen
o qué handicaps 100, no, y en especial
además queríamos saber el cómo era esa eficiencia respecto
del inglés.
No le cine en español, en nuestro idioma,
cómo funcionan estos modelos, qué eficiencias tiene,
vale y cómo son comparables con el inglés, que es el lenguaje hegemónico
de la investigación.
No habrá ello hicimos este proyecto.
Este proyecto pretendía analizar esto desde cuatro ámbitos.
El primer ámbito de la lista del arte y la investigación
propiamente dicha; nosotros, desde el punto de vista más
de lo que es la tecnología del lenguaje.
Desde el punto de vista de las funcionales funcionalidades
de los dispositivos que existen actualmente,
desde el punto de vista de la adopción,
que hay de estos dispositivos;
o de estas técnicas en la sociedad.
Desde el punto de vista de la experiencia del usuario.
Como podéis imaginaros.
Este proyecto es un proyecto principalmente analítico vale,
sin embargo,
nosotros no queríamos que el proyecto fuera simplemente un análisis,
un informe que se quedaba ahí se acababa
y pasados los tres años de duración que tenía el proyecto se muriera.
Queríamos pensar un poco más a medio
y largo plazo si la financiación lo permitía, no?
Entonces por ello también pusimos como objetivo 3,
tres patas muy importantes, especialmente en nuestro ámbito
vale para poder intentar seguir midiendo seguir evaluando
este este proceso de la inteligencia artificial,
esta eficiencia, la inteligencia artificial
y sus capacidades vale una huella entre mucho en detalle aquí
y quería empezar por aquí porque me parece
que son unos recursos útiles que pueden servir a la gente,
pero pero quería quería enseñar por un lado.
Hemos desarrollado el portal,
lo que si esto es un puerto al del Estado del arte
que podéis acceder están plenamente.
Fruto de estas aplicaciones.
Es un portal del Estado del arte,
donde cualquier usuario
y fuese un investigador puede ser una empresa,
puede ser una administración que quiera saber qué se ha hecho en
español.
Sobre un tema relacionada con las tecnologías del lenguaje
puede venir y buscar toda la información que se ha metidos.
En la información, que tiene cierta solidez científica,
vale que esté esta ha sido impulsada en ciertos foros importantes
y ahora mismo contamos por unas doscientas tareas diferentes,
por la compra, una presa que quiere decir.
Yo quiero hacer análisis de sentimientos y quiero ver
que se ha hecho en español de análisis de sentimientos.
Puede venir aquí todas estas iniciativas y dataset
si recursos que se han creado para el español están categorizadas
por muchas cosas que se han presentado.
Las tareas tracta, la tarea más concreta
vale y puede venir y buscar.
Nosotros las hemos desarrollado.
Vale?
Igual es una herramienta de evaluación online.
La evaluación en el proceso de investigación no es una cosa,
que muchas veces se queda un poco relegada
y al final no tenemos cuidado.
Muchas veces es es frecuente utilizar métodos de evaluación acción,
porque eso es lo que vemos.
En el estado del arte pero me quitan lo que más se gusta
no estaba el problema que tenemos
y no queríamos intentar poner nuestro granito de arena
y practicar un poco esto con esta herramienta no da igual
no sólo es una herramienta de evaluación que te permite obtener
un número de eficiencia sobre un algoritmo
sobre un caso de uso vale también tiene un aspecto pedagógico
y es que el que analiza los datos
dice que métricas son las más adecuadas y puedes utilizando
no puede utilizarla permite además tiene un repositorio
donde se pueden ir guardándolas los resultados se pueden publicar
para que los usuarios lo vean ir avanzando en el estado arte.
Por último el líder hobbesiana como todos sabemos ahora mismo
está a punto de que es un modelo de lenguaje
largo no ya me ha dicho cuántico se ha contado un poco entonces
este tema de los modelos de lenguaje pero un poquito previo
a los modelos del lenguaje grandes
salieron los modelos de lenguaje normales.
Como vertidos estos estos modelos del lenguaje diferenciaban,
en gran medida en los anteriores en quieran generalistas
es decir pueden abordar muchas tareas diferentes.
El objetivo era hasta qué punto son generalistas.
Yo lo que hicimos fue un líder, voz, que tuviera diferentes tareas
en diferentes de miñones, diferentes tipos de tareas,
pues algunas de clasificación si positivo negativo.
Otras identificación de entidades por ejemplo
pues identifican las los políticos que hay en esta noticia
o identificarme las los códigos,
las enfermedades para asignar un código cie.
A esto hicimos este este líder bueno,
un conjunto de tareas que ahora nos enseñaré Madrid,
donde cualquiera puede guiar sus resultados a todas las tareas
y evaluar la eficiencia de su modelo de una forma más generalista.
Es verdad que existen estos otros modelos,
pero nosotros nos enrocamos en una cosa muy importante
y ya en evitar la contaminación de los Estados.
Es decir, estos conjuntos de datos que hicimos
en la parte privada de la parte es la, dejamos completamente privada
para que nadie pudiera ningún pude, no pudiera acceder a ellos
y contaminas.
Acuerdo en concreto.
Hicimos 10 dataset que son en lo que se acuerdan
que son desarrollados íntegramente dentro del proyecto
y además como teníamos ese objetivo
de ver la diferencia entre links en español,
hicimos doble.
La mitad en inglés y la mitad en español,
asegurando a los que la metodología en todas las fases del desarrollo,
dataset desde la selección de los datos,
el filtrado del etiquetado,
la selección de la eliminación de sesgos,
cuando había que eliminarlos tubería, igual exactamente
para ambos idiomas.
Pero luego además hicimos cuatro dataset muy conocidos en el estado
delante y no es que se han comparado muchos modelos que eran públicos.
Podía haber contaminación también para ver un poco la diferencia.
O veis incluimos muchos muchos tipos de tareas
y de ámbitos toxicidades información biomedicina noticias cuestionan Sebin
y bueno clasificación binaria
clasificación múltiple y casi jerárquica de todo,
un poquito para realmente ver la capacidad de estos modelos
como uno de los aspectos muy importantes
era medir la brecha entre inglés y español.
Había un aspecto,
aunque la metodología es exactamente igual,
había un aspecto que todavía se nos escapaba
y era la características intrínsecas del idioma,
el inglés y en España no es el mismo idioma,
por lo tanto podían tener, por lo tanto,
lo que hicimos para calcular ese grado.
Bueno, normalizará con una línea base específica para recabar
dataset que no fuera.
No lingüística, vale intentando quitar
de esta manera el efecto que podría tener el idioma.
De hecho ahora mismo este mide hervor,
tiene un estamos con un chalé ancha
abierto para cualquier empresas o usuarios,
universidades lo que quiera con un premio de 3.000 euros
para quien consiga superar la mejora de resultados.
Ahora veremos con un modelo si queréis participar hasta febrero
está abierto.
Cuando pongo os he dicho hicimos este este líder bueno,
pero nuestro objetivo no era sólo hacer el vídeo,
sino también evaluar todos los modelos actuales que hay
y su eficiencia respecto del español
para poder comparar con el inglés.
Entonces cogimos los 10 modelos para cada idioma,
más que en el Estado de las más potentes
vale cogimos las 14 tareas o decías,
tú bien los que eran públicos como privados, vale.
Hicimos un crit set con cada un cada modelo, vale,
en el que evaluamos para cada dataset unas 12 combinaciones diferentes
y para cada una de las combinaciones,
un un conjunto de parámetros de modelo diferentes.
Entre tal hicimos más de 3.360 ciclos de entrenamiento y evaluación
para determinar cuáles eran las mejores parámetros
de cada modelo de acuerdo a los diferentes dataset.
Como podéis ver esto
se lo ha resultado espero el español de la parte, es decir,
de todos aquellos seres que son privados y quién no.
En principio no han tenido contaminación
por ningún lado porque no les hemos compartido.
Si os fijáis la media, el mejor resultado es un 58, 56.
Nos resultado aceptable.
Pero quizá no tan bueno como uno cabría esperar,
sin embargo, nuestra ley española,
la parte pública como podéis observar,
los resultados escalan de una manera sustancial.
Es verdad que solo son cuatro datos.
Seis de nuestros eupst estaban hechos específicamente
con una convencida mayor, pero la diferencia sustancial
que en principio indica que estos modelos son capaces
de crear un leo en información por todos los sitios,
y eso beneficia su funcionamiento, por lo que para evaluarlo
correctamente hay que evitar la contaminación de estos datos
y bueno un poco rápido.
Este es el grado que hemos identificado.
Bueno, aquí están todas las tareas de media,
tenemos una brecha entre el inglés y en español,
que aunque pensábamos que llegó a ser tanto al final
es de un 20 por 100 menos con seis de acuerdo,
de acuerdo a nuestra metodología inicial,
y donde pueden ver que hay algunas en la que la brecha
es sustancialmente alta;
por ejemplo, diplomacy que es una tarea de detección,
de propaganda valen.
Se publican tuits por las las embajadas de diferentes países
fundamentalmente China, Rusia y europa,
y la batalla era identificar si propagan de categorizarlo.
De acuerdo al conjunto de catedráticas
y otros en los que nos resultado,
pues, están muy próximos o muy poco parejos,
como en Biomedicina, por ejemplo.
Y hablando un poco más del ámbito completo
de lo que es el análisis que hemos hecho,
no solo a la parte nuestra, que es donde nos hemos centrado a nosotros
como universidad,
desde el punto de vista de los modelos,
de los modelos y del estado de la investigación,
tenemos nosotros tres ámbitos respecto del Estado del arte,
a partir de la experimentación que hemos hecho con el modelo.
Hemos intentado medir otros indicadores importantes,
como puede ser la financiación, el número de publicaciones,
proyectos subvencionados, la cantidad de texto inicial
de un idioma abierto, un conjunto de datos
con los indicadores con los que poder sacar esta esta brecha,
y este gap y aunque hemos llegado, hemos identificado
que un 66 por 100 ingleses, un cinco por 100 más potente
que le española respecto a las soluciones de mercado,
fundamentalmente lo que nos hemos centrado en diferentes áreas.
Por ejemplo, los ciclos predictivos, los asistentes virtuales
los buscadores hemos intentado identificar las características
y funcionales difuncionalidades, tanto de los sistemas en inglés
como de los sistemas en español, y analizar estas características,
saber si realmente eran iguales en un idioma.
Bueno, tenían el mismo comportamiento y la misma afectividad,
la brecha, la verdad es que no ha sido muy, muy grande;
sorprendentemente, prácticamente lo mismo que está en inglés
está en español especialmente.
Esto era de esperar en los últimos años
con el lanzamiento de todos estos modelos,
grandes que son capaces de pasar de un idioma
a otro con mucho menos recursos respecto del nivel de adopción.
Aquí nos hemos fundamentalmente en interesas,
y lo que hemos analizado son las empresas más importantes,
creo que era el ibex 35 en España y el si las 40 empresas similares
en Estados Unidos hemos analizado sus informes económicos,
hemos analizado sus memorias anuales
y hemos buscado representaciones de este tipo de tecnología.
Además, hemos buscado menciones en un montón de periódicos
asociados a estas compañías, con tecnologías del lenguaje
para intentar identificar y aquí sí que en España
el nivel de adopciones muchísimo más va
o que en que en Estados Unidos,
lo cual es completamente lógico, más dioses,
sino el mayor motor número mayor con china,
de este tipo de tecnologías y, por último, para mayor sorpresa
en la experiencia de uso.
Aquí hemos hecho los análisis.
Hemos hecho un análisis automático, pues hay controles sociales
y hemos hecho encuestas a usuarios, encuestas, tanto aquí en España
como como en Estados Unidos, de acuerdo sobre diferentes productos
que hemos identificado en el ámbito en el ámbito 2.
Sorprendentemente aquí el español sale mejor parada que el inglés;
es decir, nosotros estamos más contentos
con los productos que tenemos que los ingleses.
Esto nos sorprendía mucho.
Por lo tanto, durante el siguiente año
hemos hecho preguntas más en enfocada,
a saber qué estaba pasando,
y al final la conclusión a la que hemos llegado
es que nos conformamos con menos; o sea, es así de sencillo.
Los españoles somos muy positivos,
y cuando algo funciona más o menos, diríamos.
Esto es estupenda, y les son mucho más chiquillos,
de acuerdo.
Bueno, estos son un poco los datos que hemos analizado igual
en diferentes idiomas.
Obviamente, las menciones en inglés son muchísimo mayores.
Esto muy rápido porque queda muy poco tiempo
y bueno básicamente esto es un poquito a grandes rasgos y muy rápido
y todo lo que hemos hecho en el proyecto.
Este proyecto nacía
antes de que saliera el boom de los generativas de Change pt etc
etc vale pero claro una vez que ha salido
estamos tenido que adaptarnos.
No voy a entrar en esta última etapa porque es lo que estamos haciendo
últimamente y todavía no tenemos conclusiones, pero estamos empezando
a cuando el análisis de los generativas de hecho
hemos hecho un dataset, llamamos un peso,
hemos cogido todas las preguntas de los exámenes de un acceso
y hemos preguntado todos estos modelos.
Generativas, llamas derecha, eminencia etc
que respondan esas preguntas.
Estamos haciéndoles un poco de perrerías
todo el primero.
Social, análisis y bueno,
pues al final lo que estamos viendo efectivamente
es que todas aquellas asignaturas o preguntas que son más memorísticas
lo vuelvan y todas aquellas asignaturas materias
que son un poco más nacional.
Como matemáticas suspende,
valen dependiendo del modelo mejor o peor
y dependiendo de las preguntas van mejor o peor,
pero ahí estamos.
Así que y un poco esto lo que os quería encontrar.
Así brevemente, muchas gracias por escucharme
-kaj Sapir una pregunta lógica.
Abierto o si se quiere Sí sí; si todo toda esa virtud es posible,
nos daba o que aparece aquí el intervalo ahora mismo
está en modo chavales, es decir, hasta febrero solo
se puede evaluar si vas a hacer cumplir con las normas del chamán,
que tienes que mandar a todos el seis bajo unas y solo para español,
porque estamos evaluando al señor pero una vez que terminamos tú puedes
efectivamente mandan libremente además hay tres versiones
según hemos ido cada año avanzando en las diferentes tareas,
también puedes evaluar si quieres solo un dataset mediante igual.
También tiene un repositorio perdimos.
Suele enfocado en un dato ese tipo de ese balear,
evaluar ahí pero es abierto cumplir
y de hecho puede ser ahora mismo lo que te quedarte un usuario,
y esa, todo, este 50.
Los distintos españoles en bondad, su nueva pregunta
vuelven a específicamente.
No están incluidos diferentes españoles en el mundo.
Va a ser porque hemos hablado de diferentes países,
la fuente de información.
Efectivamente, incluso en el proceso de adaptación,
la detección del sexismo hemos tenido mucho cuidado con los sesgos
para evitar ser a ser.
Al se le llena la sala berezia seleccionar los datos,
por tanto, hemos seleccionado datos de Sudamérica,
Guia, Aña, vale inglesa, hemos seleccionado datos
de diferentes países también para ver diferentes contextos,
porque nuestra idea es que no existe un solo contexto.
Por eso lo hemos hecho también con el paradigma
de leer ningún quizá crimen en el que una instancia
no se etiqueta solo con un con una o sea perdonaba una instancia
la tienen solo un etiqueta positivo negativo,
tiene una distribución de probabilidad de uno con ocho positivo
y un cero con dos negativo, y eso depende de los anotables,
vale, y y ahí también la selección de educadores
tenemos arraigado desde más de 50 países con características de raza
muchos sí específicamente.
No hemos hecho este dataset de este español.
Es bueno?
Si español es este.