Bueno, ante todo, gracias, como he dicho antes,
es muy grato que cuenten con uno para estas cosas.
Bueno, la representación mea,
pues va a ser un poco, va a tocar un poco de mociones,
pero sobre todo va a ir de las piezas que relevantes
en la tecnología que hay detrás de change,
de otras muchas cosas.
Entonces, lo que voy a tratar es de homologar al argot
que usamos en psicología, pues en términos de memoria,
las piedras que hay por debajo, por debajo.
Entonces, bueno, no me va a dar tiempo a todo,
pero yo lo voy a decir, sólo voy a parlar casi del primer punto,
porque los 45 minutos parece mucho, pero luego los mucho,
o sea es paradójico.
En fin, bueno, ante todos los antecedentes
desde en Psicología se y hablo ya en términos de psicología,
porque, bueno, es la disciplina la que yo,
en la que yo estoy en la parte de la galería,
pues también está en Psicología,
siempre se han tratado, se han tratado
de modelar los procesos cognitivos en base a las redes neuronales,
desde el trabajo de Romer Jara Marlee la.
Ni el libro famoso de procesamiento, distribuida en paralelo,
pues bueno, ya se sugerían ahora estamos en disposición el.
También quiero trasmitir que, empezando por este libro
que se sugirieron muchas cosas aquí que ahora estamos en disposición
de hacer, ese es el reto esa es la invitación que tenemos.
Desde la parte de ciencia cognitiva de Psicología.
Bueno, por no detenerme mucho,
pues ya se hacían modelos hacia modelos desde bueno,
cuando las la explotación de indicios,
fondos fonético, eso fenológicos ortográficos
y como eso, pues bueno,
al final se podía sacar unas una hipótesis de significado
de las palabras en tanto que, por ejemplo, en inglés
pues como las palabras la hay una ortografía no transparente.
Bueno, pues a veces la se pronuncia de una forma,
se pronuncia de otra.
Entonces, como bueno este tipo de disquisiciones
no me quiero detener mucho porque además me entretengo
y luego no me da tiempo a lo crucial sobre emociones,
pues también como las, como desde, por ejemplo,
cómo pasa que hay palabras a los que nos,
a las que no estamos dispuestos emocionalmente
y que de repente tienen reacción, reacción emocional,
tanto positiva como negativa?
Bueno, pues con esas cosas que han trabajado,
pues desde hace bastante tiempo.
Bueno, las proposiciones también no me voy a detener,
insisto, hay libros también seminales en estos aspectos de tanto
para clínica como para evalúo como para desarrollo;
o sea que no es una cosa que nos lo pongo en antecedentes
porque no es una cosa que nos venga de nuevas este desuso;
a mí me parece una maravilla del libro,
son con redes de corrección,
en cascada y simula más o menos los estadios que pueden tener
los estadios privados y acciones.
En el fondo, los escalones que porque ya se sabe
que la revolución del desarrollo no es una cosa lineal
sino que tiene escalones, tienes saltos,
tiene explosiones pues todas estas cosas contrarias
recorrer con las redes de correlación en cascada
pues se han hecho este libro va justo de eso también de modelos
de poblaciones; es decir,
parametrizados una red neuronal tanto en las entradas
como en los parámetros propios de la red
y de repente nos da distintas trayectorias.
Algunos desastres historias pues predicen por ejemplo
las los las regresiones en el autismo.
Bueno, cosas así insisto, no me quiero detener,
pero ahí hay mucho trabajo, hay mucho corpus científico
por detrás.
Los bomberos en vez de los incrustaciones que les llaman ahora,
bueno, pues por ejemplo ya fueron motivo de interés
de la psicología desde que salieron y ahí bueno hay infinitud
de artículos que lo que quieren hacer es si si esas representaciones
ahora vamos a tratar un poco cómo se hacen esas representaciones,
pero si esas representaciones tienen un homologación
a o a la representación humana,
lo que esto es de palabras, las palabras al fin
y al cabo la puesto están representadas en la mente,
y esta es una forma de simular cómo pueden estar representadas
de forma distribuida.
En fin, que hay una infinidad de redes
ya se han utilizado para los aspectos cognitivos,
pero bueno, hemos aquí que de repente nos ha salido al paso change,
y entonces claro para todo el mundo le pasa toda,
todas las disciplinas.
Sabéis cuando a los el echan los faros a los conejos,
que no saben ni para un lado ni para el otro,
se quedan en lo que se dice perplejos.
La perplejidad es algo que no tomas.
Una decisión, pues ahora da la impresión
se me antoja que estamos un poco en ese momento.
Entonces, bueno, lo que diré es.
He puesto aquí estas preguntas,
que pueden ser una guía para empezar la.
La.
La comunicación es bueno en este momento,
dada la disrupción de este tipo, de modelos,
pues la primera pregunta es ir a los antecedentes que he contado,
que es una cosa que nosotros ya tenemos trabajada,
pues puede la Psicología seguir nutriéndose
de estos nuevos modelos de aprendizaje profundo
a una pregunta relevante.
La pregunta es muy relevante.
Puede la psicología seguir aportando valor a estas nuevas tecnologías?
También es una pregunta relevante,
después de que salgamos un un poco, ya digo,
como todas las disciplinas de esta perplejidad,
y luego, bueno, ya también que acaso,
desde el marco de la ciencia cognitiva,
desde un poco lo que nos reúne en un no tiene una definición clara,
pero siempre parece que uno está invitado,
es la típica fiesta que está uno invitado por los meses,
y me posiciono en ese sentido.
Me posiciono, voy a más o menos a leer lo que he escrito,
y luego ya vayamos a ciertas explicaciones.
Pues sí y además es un dominio que les sigue tipo subrayo.
Les sigue siendo propio, toda vez que pretenden
ser modelos de comprensión y producción del lenguaje
una cosa que nosotros tenemos que dar respuestas,
es decir esas distintos explicaciones entre las tenemos
que hacer nosotros,
y también dado lo primero que nosotros estamos invitados
a esto, a este reto, pues bueno,
pues lo primero que hay que estudiar es la plausibilidad humana,
o sea que los modelos tienen cierta plausibilidad,
es decir, que se pueden homologar que las cosas
que se es se pueden simular con ellos pasan también en los humanos
y tienen lo que se llama plausibilidad algorítmica
computacional, que tampoco voy a entrar en el matiz y manipulando,
y haciendo psicología comparada también.
Por ejemplo.
Una de la forma es que si se ha hecho psicología
comparada con animales pues hagámoslo con las máquinas,
esto es un primer escalón que podemos subir,
estudiar y manipular.
Esto también es más interesante estudiar y manipular
los mecanismos desplegados desde un punto de vista cognitivo,
es decir, coger las piezas y manipularlas a nuestro gusto
a nuestro gusto, en el sentido de que se van para la simulación
para la simulación del proceso cognitivo,
modelar también con los estos mecanismos,
comportamiento normativo y sobre todo patológico,
porque, claro, de las predicciones que hagan estos modelos,
que nosotros manipulamos podemos encontrar ciertos patrones
que se pueden asemejar, por ejemplo, con las afasias,
con los, con las dislexias, con que es un mundo también,
que siempre se ha hecho con las redes neuronales
participar en sus desarrollos y luego también desplegar aplicaciones,
que cumplan un servicio para cosas que son propias de la psicología,
detectores de patrones de sucedió en el lenguaje natural,
lo que sea, hay, digamos que lo que quiero decir
es que hay tela, que cortar que desde nuestra parte
también hay mucha tela que cortar,
ya sea en unas aristas, en otra.
Pero bueno, también quiero poner unos acción más en la mesa
y el otro día la conversación fluyó por esta parte,
que además yo creo que es una buena forma
de afrontarlo.
Pues la primera frase que he puesto de qué change no es un monolito,
es decir, no es el oráculo de Rodas que no se pueden entrar por entrar;
le por ningún sitio sea traje pt.
Es al final, es una interfaz que consume
funcionalidades de modelos en entrenados,
como bien ha dicho Roma entonces, y esos modelos pero entrenados,
pues han sido entrenados con unos algoritmos, diría yo,
con unos mecanismos, homologando ya un poco al árbol.
Bueno, ya tenemos los mecanismos sobre los que hay que entrar,
luego también hay que saber que la escala del dato a veces
es relevante.
Saber que las emparat digamos para procesos cognitivos.
La escala del dato es importante, son cantidades ingentes.
Esos modelos predeterminados son cantidades ingentes, vamos,
pero estamos hablando de un que es capaz.
Entre un modelo se tiene que ir la luz de nueva mayor
en electricidad.
Bien, entonces eso a veces no se puede homologar una,
un niño o una persona en su desarrollo
no está expuesto a esa cantidad de datos.
Entonces, esto también hay que tenerlo en cuenta para,
para evaluar todas estas cosas, buenas.
La escala del dato favorece a estos algoritmos.
Bueno, en general, mejores estructuras de datos mejor
hardware.
El procedimiento no hace falta detenerse la forma
de calcular las derivadas, la paralización.
Bueno, todo eso son, es un factor que hay que tener en cuenta
someramente para ver lo que estamos evaluando al final,
para hacer lo que más o menos he indicado en los antecedentes,
pues el interés es analizar y manipular,
tanto los modelos predeterminados como los mecanismos
como los algoritmos, que están problemas que es un poco la forma
de afrontar la de meterle mano, el tema en general,
de manera un poco más seria
y luego también saber que nosotros queremos explicar de forma parcial,
en el sentido parcial de que queremos explicar los procesos.
No, no queremos, en fin, no queremos ver si Change
mete como producto finales igual a una persona,
pues seguramente no, y además es una.
También nos encontramos que en una cuestión metafísica
como el otro día salió,
no se nos nos nos es dado razonas sobre eso
hasta los últimos extremos, digamos, bueno,
entonces lo que me he propuesto aquí
y yo creo que eso lo vamos a ver si hablase muy muy rápido,
a lo mejor viendo todos los puntos los tocaríamos,
pero no, no prefiero hablar lento porque luego me dicen que no,
que hablo demasiado rápido y, en fin,
yo creo que nos vamos a quedar en 1,
pero yo creo que es bastante jugoso como para que por lo menos yo salga
satisfechos de lo que he transmitido .
Lo que voy a tratar en el uno es,
aunque voy a mencionar ahora a los otros 2,
pero es de homologar las piezas.
De los grandes modelos del lenguaje, con mecanismos de memoria, memoria
-trabajo, me ponía a largo plazo de memoria
de diferentes pervivencia.
Es, en definitiva, en diferentes resonancias,
como si dijéramos algunas memorias están más resonante,
es que en otras cosas
esa es la disquisición en la que voy a entrar.
Quería también tocar a lo mejor nos da incluso
un poco de tiempo haga mención a que la pobreza,
el estímulo de la composición de la sistemática,
que yo creo que es un o uno de los ejemplos que podemos tomar,
para dónde pueden darle la psicología o la lingüística la ético
-lingüística en todos estos temas, pero al final también es relevante
una cosa que le llaman el olvido catastrófico
también para la psicología, que es que muchas veces
las redes a una persona,
cuando uno aprende a montar en bicicleta
y luego aprende a tocar el piano, no olvidan montar en bicicleta,
pues eso a veces le pasa las a las redes neuronales,
que tienen, lo que se denomina un olvido,
pero las prácticas,
pero que también tienen sus pequeñas soluciones
porque al final hay que reservar.
Bueno, hay que conservar un poso de conocimiento que le relevante
a todas las tareas.
Esa es la clave.
Pero bueno,
como no nos va a dar tiempo al tercero ni de suerte, pues bueno,
entre los mecanismos de memoria, bueno, voy a empezar a el viaje,
que, además, yo a veces hago con mis alumnos,
es empezar por las recurrentes, que además,
son unos modelos muy sugerentes y acabar con los transformen.
Por qué?
Porque las redes recurrentes, primero,
porque vinieron primero y segundo, porque los transformen,
vienen a quitar la recurrencia esos modelos.
Esas es un poco la clave,
y ahora vamos a ver lo que es la recurrencia,
los estados ocultos de una recurrencia,
y luego vamos a ver cómo se quita esa recurrencia
y cómo se pueden hacer más potentes,
total de lo que estamos hablando también,
como nos yo me voy a escribir al lenguaje,
es que el lenguaje, al final, es una secuencia temporal.
No puede ser entendido.
Lenguaje sin tiempo.
Entonces, como no puede ser entendido, lenguaje y el tiempo,
hace falta una arquitectura que dé cuenta del tiempo.
Una arquitectura de red neuronal que dé cuenta del tiempo,
y cuando digo del tiempo es que lo que digo anteriormente
condiciona lo que voy a hacerlo.
La alguien que me está entendiendo ahora tiene que tener en cuenta
lo que digo antes, para entender como contexto
para entender lo que voy a decir luego,
y esa es la gran clave es que hay que tener una información latente
que perviva de una forma u otra para entender,
para ir entendiendo para el que el modelo
vaya entendiendo.
Por eso son importantes este tipo de redes.
Para entender eso.
Yo no voy a coger el tema es que una red recurrente,
por lo menos en su forma básica, no es más que una red normal del,
en este caso tres capas que tiene una capa de entrada, una capa oculta
y una capa de salida.
Pero qué ocurre aquí?
Que a una red recurrente se le añade un un,
un aparato muy ingenioso, que es que la capa,
las salidas de la capa oculta van recurrentemente otra vez,
como entrará a la misma capa oculta, y esto es importantísimo
porque lo que quiere decir esto es que la predicción,
la predicción de la capa de salida no solamente depende de la entrada,
depende del estado anterior, de la capa ocultar el tiempo,
o sea, el estado anterior es lo que ha pasado anteriormente.
Es más, la salida de la capa oculta
la capa de recurrente se le llama Estado culto.
Es decir, y eso funciona como información latente
de lo que ha pasado anteriormente esta es la la mini,
la forma minimalista de comprender esto;
es decir, si yo tengo una entrada en el tiempo,
te esa entrada entrará también mediante estas conexiones
a la capa oculta.
La causa oculta lanzará mediante estas conexiones,
a la capa de salida un acte, una señal,
pero a su vez se a lanzar asimismo el bucle,
y entonces siempre tendrá consideración del pasado
esto.
Un lenguaje que ahora en la representación minimalista esto
lenguaje como se ve,
pues pues pues no está determinada de esta forma, por ejemplo,
cómo se entrega una red recurrente en su forma básica?
Pues bueno, yo tengo una frase y con esa frase que se suele llamar
auto-supervisado a cada palabra de esa frase
tiene que perder decirla la siguiente o sea mi vi entrenamiento mi
mi corpus de entrenamiento es son frases
en su modelo, autogenera nativo sin,
como ha dicho antes, Romón sin codificador
y descalificador que vamos a ver ahora,
pero veis que él tiene que predecir perro
y, en la medida que lo que lo diga bien.
Se actualizarán los pesos de la red
con un mecanismo especial de propagación a través del tiempo,
pero al final tenemos que saber que se actualizan los presos de la red,
es decir, que esta red se va súper especializar,
en cuando le introduces el predecir pero vale,
seguiremos en el entrenamiento perdón, predigan o no predigan perro
-perro, va a ser la siguiente.
Entrada, en la siguiente enmarca de tiempo.
Pero qué ocurre aquí?
Que tenemos un Estado culto?
Veis estar esta flechita?
Es decir, el estado oculto anterior
participan la predicción, es decir,
para predecir la siguiente palabra.
Siempre dice.
A partir de perro y a partir del estado anterior.
Es decir, de lo que se ha dicho anteriormente
y entonces os podéis imaginar cómo es el entrenamiento,
es de diga lo que diga.
Bueno, se actualizan los pesos pero en cualquier caso,
diga lo que diga la salida esperadas perro,
se mete verlo perro, va a participar en la proyección de mordió,
pero junto con su estado anterior sí; si lo hace bien,
como este caso cero 9, uno es el número más alto,
pues se lo ha hecho bien,
pues se actualizarán menos los pesos; si lo hiciese mal,
pues se actualizarían más los pesos,
de manera que otra vez mordió aquí y fijaos aquí en este
en-es en esta marca de tiempo qué mordió tiene que predecir
el pero ya lleva el estado culto que hay.
Aquí ya lleva información de lo que se ha dicho antes.
En este esquema se ve más o menos bien, es decir,
un modelo del lenguaje, un modelo autogenera nativo.
Ahora vamos a ver otras formas no es más que decir la palabra
que viven en el siguiente posición.
Bueno, hay que decir que las entradas yo he puesto palabras,
pero pueden ser.
En fin,
como ha dicho también Roma, audios lo que sea.
Es decir,
aquí puede estar concatenado cualquier tipo de entrada
para construir, para constreñir unas entradas con otras,
como hacen las redes.
Bueno, fijaos además,
que aquí en el principio no haya estado oculto, o sea,
no hay nada aquí.
La primera predicción se hace solo con la entrada,
la segunda, tercera y cuarta,
no porque ya había estado oculto la primera fijados
aquí por eso lo puesto no, ahí está y si pusiésemos algo ahí
de entrada.
Bueno, antes de poner algo al final la cuando está en congelados.
Los pesos hemos acabado con el entrenamiento,
por lo que podemos hacer es una tarea de auto completado;
es decir, poner las primeras palabras estas primeras palabras
generarán un estado oculto aquí y la última palabra
de esas que ponemos, pues decidirá la siguiente.
Pero ya con lo que se ha dicho antes
y eso es lo que hace cuando le metes a los modelos,
jefe de 3, 5, que te ponen auto completado,
pues es justo esto, es decir,
y además de la palabra mágica instigación,
es decir, tú estás instigando como el logopeda
con una primera entrada a que se autogenera
lo siguiente es decir estas constriñéndolas posibilidades
estas el auto completado yo no no va a ser cualquier cosa,
va a ser con lo que las constreñido antes
y aquí va la cosa que iba a la jugada.
Como aquí no tenemos estado
Puerto primero, es decir, partimos de la nada
los Estados ocultas que forman a partir de la secuencia.
La idea es.
Y por qué no ponemos un instigador muchísimo más potente,
ponemos otra frase.
Es decir, esta parte esta parte de la de la red
de la red recurrente?
Ahora tenemos 2,
una que es la que ya teníamos, que es la que se va autogenerando,
lenguaje y otra que recibe la instigación de un estado oculto
de una forma o de una primera frase
y estos son las tareas de por ejemplo de traducción
yo codificado esto en un estado oculto
instigó la segunda a que autogenera el lenguaje con le doy el pie,
como en el teatro, y entonces este empieza la regla.
Empieza a hablar, pero no de cualquier manera,
instigado fuertemente por lo primero.
Este es el tema instigado fuertemente por lo primero.
No puede decir ya cualquier cosa.
No digas lo que te dé la gana.
No, no, estás fuertemente instigado.
El estado oculto primero que he interrumpido ya
no, no deja que se diga cualquier cosa
y dilemas,
y siempre de una instigación con una frase.
Esto, además, es la típica topología de preguntas,
respuestas donde puedo encontrar patatas Meléndez.
Pues en el mercado maravillas no sé que no sé cuántos se codifican,
donde puedo encontrar, patatal,
Meléndez, ya les digas a decir que va a ser el mercado maravillas,
o sea que es la típica tarea de preguntas respuestas
y si les digo con una imagen es decir con unos aspectos sensorio motores
o incluso podríamos codificar aquí aspectos emocionales
hacer un planning una facilitación, una instigación es decir,
la frase que va a autogenerar esto después de entrenado,
y todas estas cosas.
Porque además, os podéis imaginar,
el entrenamiento es una imagen, una frase MacCann,
frase, imagen, frase: un tropel de imágenes con, junto con su frase,
pues al final la instigación va a ser,
o con, con aspectos sensorio, motores,
o con lo que se desee que se extingue.
Entonces, aquí que nos encontramos, que cuando el primer estado,
puerto de esta red neuronal, recurrente ya cuenta
con un Estado vuelto tan sumamente potente,
de la red como evoluciones, básicamente se dedica a codificar,
en su, en su primera fase, se dedicaban a codificar,
casi vectorialmente el imágenes, entonces,
a partir de filtros de carnes en los que.
Bueno, pues el estado de vuelto, están muy construyera,
o sea ya constriña mucho a lo que se va
a decir aquí aquí no se pueden decir cualquier cosa.
Aquí se va a decir un junto con el pie
lo que instiga lo que instiga, lo que ha generado la imagen.
Esa es la idea, esa es la idea.
Entonces, a partir de aquí con estas piezas
se puedan hacer un montón de topologías de topologías
que a cualquiera que aún no se le ocurran.
Pero, bueno, nos vamos a fijar en lo que respecta al estado oculto,
porque va a haber más cosas que es el Estado culto,
pues ya os podéis imaginar que el Estado culto
es como una especie de información latente, pero bueno,
voy a decir aquí casi me lo voy a decir aquí local
que va acompañando a las a la secuencia temporal
de la frase, y sirve para predecir con la entrada
y con ello, bueno, cada Estado oculto, que es la salida
de la capa oculta, como he dicho.
Pues bueno, lo voy a leer y luego lo comentamos.
Cada Estado culto son la salida de la capa oculta
del tiempo de partido que participa en la proyección del tema, son 1,
es decir, lo que se ha dicho con lo que se va a decir,
es un estado de memoria focalizada que acompaña a la secuencia.
Ya veréis porque es focalizada, porque ahora lo vamos.
No, no quiero anticipar nada, bueno, puede considerarse
como una información latente que genera expectativas,
claro que genera expectativas, es que no es lo mismo un arte,
y de repente introducir la puede ser cualquier cosa.
La la, la facultad, la bueno, el lo que es la vaca,
lo que sea a introducirla con un estado oculto anterior,
es decir, un contexto.
Ya te ha generado un canal, una cosmología de expectativas,
no se puede decir cualquier cosa,
ya tienes que decir cómo es ese estado oculto.
Reúne lo acontecido hasta un punto de la frase,
pero concierto sesgo de referencia.
Aquí está la cosa.
Como a veces se está degradado el estado ocultarse.
Pues si la secuencia es muy larga,
pues se va degradando.
Tiene, digamos, unos fenómenos que se van a degradar.
En cuanto a entropía y bueno,
ya hay unas cosas documentadas de explosión,
de la señal de que se desvanece bueno,
se va de Granada, degradando.
La idea principal es que se va degradando prima
lo último.
Además se dice que el prima más lo último que lo que se va dejando atrás
y diré es que lo que se va dejando atrás tampoco recuperable
porque todo sea codificado, Neil entonces,
no recuperable por toda información.
Tanto sintáctica como semánticas.
Es importante también saberlo.
Está amalgamado todo y eso nos malo,
porque al final es un posición un posicionamiento teórico
para, por ejemplo, frente a la teoría de Chomsky
para tratar el tema de la teoría del Chomsky,
que son dos sistemas diferenciados.
La semántica, la sintáctica, pues esto es un posible modelo,
un modelo teórico
que se posiciona frente no quiero decir que sea verdadero,
sino que puede jugar con ello.
Bueno, ya digo, el Estado culto va ciertamente degradado
y aquí es donde habéis seguro que habéis oído que las recurrentes
siempre llevan la postilla de SPM que es en definitiva,
lo han Xol termes Mori y es lo que vamos a analizar ahora,
como les he estado culto, está degradado,
nos está pidiendo el cuerpo que pongamos un modelo más general,
que digamos la memoria,
esté más presente que en la memoria latente
esté más presente cuando digo más presentes,
que están presentes en todas las secuencias,
que no se olvide tan rápido,
que no seamos tan, tan, tan esclavos de lo último que se ha dicho y justo
es para lo que se se hizo en ese lonchea memoria.
Bueno, qué ocurre aquí y os lo voy a explicar ya digo,
toda esta presentación no es para entrar en el detalle,
sino para las ideas generales,
para los conceptos, que es lo que ocurre aquí aquí teníamos
nuestra red recurrente tradicional ya sabéis
que lo único que no hace una red recurrente, tradicional, que es,
es lanzar las conexiones de la capa puerta a sí misma, que es
pequeño cambio, y cuánta mejora?
Porque ahí tenemos el tiempo,
pero como hemos dicho, se va degradando la señal,
pues lo que pensó alguien es que vamos a introducir
en veré soltar directamente las salidas de la capa oculta
a la capa de salida o a sí misma,
pues vamos a poner algo entre medias que vaya depurándolas, depuran dolo,
y además depuran dolo con una información latente
que viaja por toda la secuencia.
Ese es el tema y esa información latente,
que viaja por todas las secuencias,
lo que llaman en el ese lineal Estado,
que viaja por todas las secuencias a todas las en todo momento.
Todo momento las las.
Esta información está viajando para tomar decisiones
de las de las salidas, y como lo hace,
pues bueno, básicamente, es poner más nodos y súper
especializar estos nodos y las conexiones que llegan a ellos,
acceder a dos tareas, a olvidar, información a desdeñarlo,
la no relevante y añadirlo,
os voy a explicar ahora cómo, pero básicamente es esa es la idea,
es que voy a tener una información latente,
que va a estar presente en todas las secuencias
y a él y a ella la voy a poner cosas.
La voy a quitar cosas.
Por qué la voy a poner a ver, voy a quitar,
porque las cosas también tienen supervivencia.
Es decir, cómo voy a explicar ahora, cuando yo digo no me gusta,
no sé que no sé cuántos, ese no ese no, no aplica a toda la frase.
Cuando aparece una coma, ese no deja de valer.
No sé si me entendéis nuevas eternos no vale para todo el texto.
Entonces, cuando yo tengo que tener el el mecanismo
de cuando aparece un esa coma, ese indicio,
yo tengo que borrar la validez del no, por ejemplo,
y eso es lo que hace un poco la idea del es el que es.
Fijados aquí en la última espera, ander.
Estas son las entradas y hay una línea de Estado.
Sólo que os quedéis con esto.
Hay una línea de Estado que porta información latente
para todas las secuencias que es lo que hace.
Pues fijaos fácilmente esta es la línea de Estado
que viaja por todo esto es una sólo una marca de tiempo.
Sea un tiempo dado y lo que hace es lo siguiente.
Supera especializa este grupo de nodos para olvidar,
como se olvida, no vamos a entrar en detalle,
pero básicamente es que a esta línea del tiempo le vamos a quitar cosas
cuando aparece la coma estos.
Cuando ofrecen la coma, habiendo pasado,
no estos nuevos se han superespecializado en decir a coma,
quitemos la información del no y quitan, por así decirlo,
de aquí ciertos indicios,
y a partir de este punto por esta línea de tiempo
ya no va a viajar.
Ya no va a ser tan preeminente las codificaciones del no.
Esa es la idea.
Pero, claro, si quitásemos solo, pues nos quedaríamos en el espíritu.
Hay que poner y esto es estos nodos.
Se están especializados en poner en añadir
y en añadir indicios que pueden ser novedosos,
es decir, vale.
Ha ocurrido la coma y ocurren más cosas.
Vale?
Ya hemos devaluado?
No, pero han ocurrido más cosas?
Pues eso es lo que hay que ir poniendo
los relevante que va a ocurrir que va ocurriendo,
y luego esta línea de tiempo a partir de este punto
ya está quitado y puesto,
pues tiene que tomar la decisión de que enviar a la de salida
y asimismo, como veis, es un procesamiento de las señales.
Es decir, yo solo he puesto unos mecanismos entre la oculta
y la de salida que me van a hacer esto.
Me van a conservar una información latente
que va a valer para tomar las decisiones,
lo cual es muy sugerente.
Es.
Un modelo situacional, es un modelo situacional,
esa es la idea.
Es un modelo de situacional que uno tiene para evaluar las cosas
y luego ya.
Bueno, ya en la línea del tiempo, perdón, la línea de Estado
que se llama al Estado, las fijas que la línea de Estado
esta que viaja por todo, se llama línea de Estado,
porque es como una especie de Estado oculto,
pero que había aportado, que tiene más pervivencia total
que esta es la línea del Estado,
y estos son los mecanismos que hay dentro.
Así suele venir en los libros de texto
que se dedican a las el SPM,
lo cual es indescifrable, o sea, es muy, nos indescifrable,
pero es muchísimo más difícil concebirlo,
así que concebirlo de una forma de grafos,
como dijo aquel general que salió en una general americano
que salió en una rueda de prensa, no sé qué guerra, que dijo,
tenía un esquema enorme y dijo.
Cuando descifremos este esquema ganaremos la guerra,
pues es un poco lo que pasa.
Cuando uno se acerca al hacerle se teme que estas cosas
y no se dediquen de que se está hablando,
pero, bueno, al final uno entra y es asequible.
Bueno, la línea de Estado.
La línea de Estado viene a ser bueno,
voy a leerlo y si acaso, comentamos algo.
La línea de Estado en los mecanismos,
el stm, del consorte enorme mori es una suerte
de modelo situacional latente que consigna información relevante
para toda la secuencia temporal para toda la frase
diríamos todas las frases.
Hay una información que está presente en el procedimiento,
toda esa es la idea, decide en cada marca de tiempo,
es decir,
en cada entrada qué información se tiene que olvidar cuál integrar
y, por último, qué información mandar a la capa de salida y Assimil
porque recurrente esa es la idea mediante el mecanismo el stm.
Parte de la red se especializa aprende
porque los pesos son actualizables en todo momento como red neuronal
en el entrenamiento;
se están actualizando y hay unos pesos
de unas conexiones que se están actualizando para olvidar, bueno,
pues aprende a olvidar indicios de la línea de Estado
a integrarlos y a enviarlos.
Esa es la idea y modula y matiza los estados ocultos
explicados antes.
Es decir, que hay un estado vuelto que va a por todas la secuencia
que va tomando, decisiones sobre los estados ocultos
que se van generando.
Esa es un poco la idea.
Veis que la cosa es sugerente,
o sea en términos de memorias muy sugerente,
porque los estados ocultos explicados,
los primeros, tener una pervivencia corta
se amalgaman se hacen antrópicos.
Pero la línea de Estado ya es un modelo situacional,
los lst de medias son un modelo situacional,
bueno, sigamos más o menos explorando las posibles homologaciones
en términos de memoria de lo que puede serla,
este tipo de arquitecturas;
bueno, se habla siempre de las incrustación,
de los en vez de de los huevos en venís de las incrustaciones;
son representaciones de las palabras en forma de, en definitiva,
de vector,
pero os voy a tratar de explicar de dónde se sacan esos embalses
en este tipo de arquitecturas.
Fijaos que las entradas principales,
cuando nosotros lo que vamos a hablar es cómo se gestionan las palabras,
porque hasta ahora los modelos lo que hemos hecho
es.
Vale, se mete en las eméritas rosa,
pero no hemos explicado cómo se introducen esas cosas.
No, no se introducen con una ley.
Una se introduce de la siguiente manera.
Todas las palabras del vocabulario están representados
en lo que se llama un j.
Qué es un mejor?
Es un solo caliente, es decir,
la palabra la será representado por un vector
que tenga 1, no en la primera componente
hice los en las demás;
la palabra murió en otra del vocabulario está representada,
por un cero 1, uno en el segundo componente digamos,
y la palabra rosa en el tercero, esas van a ser las entradas,
pero estas entradas son muy poco efectivas
son muy, muy poco efectivas, entre otras cosas
porque no portan ningún índice semántico ni sintáctico,
ahí no se ve nada,
es una cosa tan arbitraria como poniendo un 1,
es una manera de indemnizar de concederles un índice,
y eso lo que va a hacer la red es traducirlo a un vector,
que sé que es que porte indicios semánticos y sintácticos,
como se hace, pues añadiendo a la red recurrente
una capa nueva que se llama la capa de de incrustación la capa de en vez
del y entonces como vais.
Además, la idea es bastante sencilla,
porque tenemos la capa de entrada con este tipo de vectores
y una capa de incrustación que suele tener muchos menos
muchos menos nuevos.
Claro, si tienes un vocabulario de un 1.000.000 de palabras
tienes unos vectores aquí que tienen un 1.000.000 de componentes,
pero aquí vas a tener pues 100, por ejemplo, 300 lo que sea,
y veis que entre la capa de, des de entrada y la de incrustación,
hay conexiones y esas conexiones tienen pesos,
y esos pesos se actualizan.
Bueno, pues cuando nosotros ponemos en el entrenamiento en marcha,
al final esos pesos se van actualizando, actualizando,
actualizando hasta que tienen unos valores que son, digamos,
pertinentes a la tarea pertinentes, a la tarea en el sentido que se van
a actualizar en base al éxito de la tarea,
pueblos y la tareas de clasificación sin la tarea de autogenerar texto
o lo que sea.
Entonces, lo que vamos a tener al final es estos, pesos ahora voy
a decir cómo son la representación de cada una de las palabras iniciales
como bueno,
porque, por ejemplo lo diré,
estos pesos se pueden meter en una matriz es esta,
es decir, aquí tenemos, por ejemplo, una matriz de tres filas,
dos columnas, es decir,
en la fila 2, que es la palabra, está bueno, no coincide con la fila.
Dos tendrá la primera columna, la primera componente de la columna;
la primera columna tendrá un cero 3; la segunda un 1, 6.
Eso es lo que es la capa de incrustación, la capaz de medir,
y estos vectores representan a las palabras
tan tienen tanto sintácticas, como semánticamente semánticamente
se dice.
Esa es la capaz de incrustación; es decir,
no es más que unos pesos que se han actualizado
y se han puesto en el congelador,
y esto es una representación, una representación estática
de las palabras al final del entrenamiento.
Tenemos esa representación estática; ahora veréis después,
como no solamente nos interesa, la representación estática.
También nos interesa la representación contextual
de las palabras.
Quedamos con la idea.
Al final tenemos aquí unas entradas que son muy parcas
muy profanase,
o sea, con un uno los demás ceros, y por mediante esta conexión
con la capa de incrustación estos pesos que la matriz,
en vez del pues al final el representan
después del entrenamiento a cada una de las palabras,
y además puede haber capas de incrustación
de cualquier cosa que estemos con la que estemos lidiando,
es decir, no solamente puede haber indicios
o sus léxicos, es decir,
los caracteres también tienen su capa de incrustación
o, fondo lógicos, poéticos lo que sea, es decir,
según la tarea que se quiere modelar,
allá vamos a poner una capa de incrustación para que, en fin,
bueno, está de esta topología, pues 200.000.
Nodos de por qué tenemos 200.000 nuevos central
a porque tenemos 200.000 palabras en el vocabulario,
y tiene que predecir lo mismo,
tiene que predecir otra palabra que sean 200.000.
Bueno, las artistas topologías son de esta forma,
se le añade una capa de incrustación,
y al final la topología queda así y con la recurrencia bueno.
Seguir.
Seguimos hacia adelante como homologamos.
Bueno, como cualquier peso de cualquier capa de la red,
los pesos de la capa de incrustación
tienen el rol de memoria a largo plazo claros,
ha quedado congelado después del entrenamiento.
Se ha quedado congelado, es una forma de memoria
a largo plazo.
Ahora vamos a ver que hay más tipos, pero esta se ha congelado.
Ya no se puede tocar más.
Cuando uno entrena Isaca ya del horno su modelo, los pesos,
a no ser que les sigamos entrenando después.
Se quedan congelados, es decir, es memoria a largo plazo.
Esos pesos son actualizables y de esa forma se llevan forjando
las representaciones estáticas estáticas
en tanto que están congeladas ahora veréis que no acaba aquí el asunto.
Los vectores de la materia informada con los pesos de esta capa
son las representaciones estáticas de las palabras,
es la famosa matriz en contestación o Madrid
en vez de que se puede utilizar para muchas cosas, en definitiva,
pero ahora viene casi lo más, lo mejor
la representación de las palabras en su forma dinámica,
en línea, es decir ya el otro día se habló de la polisemia.
Claro, la polisemia tendrá la representación en esta matriz.
La polisemia estará representada en todas sus acepciones,
sea será un café con leche de todas las sus significados,
pero nosotros también queremos ver coger una representación
que sea contextualizada
y aquí que vienen lo que se llaman incluso estaciones contextualizadas
o contextual en vez de en inglés,
que es lo que voy a tratar ahora.
Fijaos voy a poner otra vez la misma arquitectura recurrente
con sus estados ocultos, que esto es importante,
que se van generando entonces.
Los estados ocultos en el fondo
son representaciones dinámicas de las palabras,
porque cuando yo meto banco en la última marca de tiempo
esta es una representación de ese enrollado de la red recurrente
como nota aclarativa.
La red recurrente es una, pero se puede representar de forma
desarrolla.
Son cuestiones técnicas.
Si en la última amarga de tiempo introduzco banco
lo que se va a generar el Estado oculto, que se va a generar
ya lo sabéis, es dependiente no solo del Banco
de vector estático, de la matriz de incrustación,
porque esto es lo que estoy metiendo aquí.
La materia de incrustar el vector estático de la matriculación ya,
pero tengo un Estado oculto que está arrastrado.
Por aquí y encima con el stm que nos con el bueno
los ya lo total que el vector el vector del Estado culto que se va
a producir aquí no solamente es dependiente de bancos
sino que va a estar contextualizado el dinero del entonces
esta representación que es de forma aquí ya no tiene todas
las expectativas que tiene Banco en su potencia Banco de sentarse.
Banco de sangre.
Lo que sea.
No.
No estas expectativas están fuertemente constreñidas
esta representación.
Está fuertemente constreñida al banco y todo su contexto anterior
y aquí la cosa que aquí a esto tenemos acceso
es decir esto se van formando y luego aquí además
se materializa las expectativas del Estado culto que se ha generado
esa es la cosa total que bueno en en cada tiempo
se generan unas expectativas.
Yo les suelo llamar una cosmología de posibilidades.
Una cosmología de posibilidades el mundo se te constriñe
cuando tienes un contexto la representación mental
de una palabra.
Es.
Desde que te constriñe cuando tienes un contexto.
Entonces ya la cosmología es más pequeña
que en toda su potencia esa es la idea
entonces esto es lo que se llama incrustaciones contextuales
o en contexto al envés y es y son muy útiles también para homologar
las representaciones que pueda tener una persona
cuando les presenta en un contexto, un contexto,
una facilitación.
Bueno, el vector que representa la palabra en la salida
de la capa oculta de cada marca de tiempo
es un generador de expectativas,
es una representación de expectativas.
El conocimiento sobre banco dado un contexto no es el mismo
que el vector de banco con otro contexto claro.
El Banco de asentarse si tiene el contexto de sentarse
no es lo mismo que el banco de dinero.
Esto es debido a la interacción, y esto está yo creo
que es la clave a la interacción entre los pesos de la red,
la memoria a largo plazo, la congelada,
la interacción entre la memoria a largo plazo,
el contexto que arrastramos y la entrada que tenemos.
Esa es la clave.
Es una interacción, es decir, esto se generan líneas,
se genera en línea y a mí una definición también que me gusta
es que es una teoría de cómo emergen, símbolo.
Es decir, son representaciones simbólicas
de las cosas dada en contexto.
Es muy interesante.
En la génesis, del símbolo como la gente maneja símbolos,
pues en estados ocultos.
El símbolo mental
es un Estado oculto que no tiene relación analógica con lo que fuera,
pues básicamente lo tenemos aquí; es un, es un modelo teórico
de lo que puede ser la génesis del símbolo,
y lo último ya os dije antes y me queda poco tiempo creo,
no lo sé como 5, vale, pues por eso yo creo que vamos a ir sobrados,
porque no voy a entrar en el 200.
Creo, en los mecanismos de atención.
Los mecanismos de atención son las estrellas de los transforme,
hasta ahora.
Solo hemos visto recurrentes porque, además las recurrentes siguen,
siendo muy sugerentes para hacer teoría cognitiva,
incluso a las recurrentes.
Se les puede poner mecanismos de atención, pero bueno,
los modelos gmt 3, 5, 4, están basados en transforme
y, por supuesto change, que consume los modelos,
pues también están basados en trasformar.
Transformar que hace que tras la recurrencia por qué?
Pues en primer lugar, porque es computa nacionalmente,
muy efectiva.
O sea, arrastrar un un estado es que te tienes que esperar,
es decir, es como tomar un tren y cuando te bajas de uno tienes
que esperar al siguiente
y cuando te bajas del siguiente esperas al siguiente,
es decir, hay unos tiempos de espera gigantescos.
Sin embargo, los transformas se pueden hacer de forma paralela.
Por qué?
Porque quitan esa recurrencia.
Esa es la primera, digamos,
causa ingenieril por la que se se hizo,
pero también por otra cosa, que es la que voy a explicar
y además lo voy a homologar también los mecanismos de memoria
que cuando nosotros arrastrábamos un estado oculto incluso con el stm,
es decir-con, no mucha hurtarme, mori ese estado culto.
Al final en esta topología, por ejemplo,
cuando nosotros codificamos la primera frase
para que se autogenera ese.
La segunda nos lo jugábamos se dice al último Estado culto generado
y ya no teníamos disponibles
las palabras que se habían dicho antes.
Es decir, cuando se hace genera un estado culto.
Incluso con el stm lo que está en el estado cultos,
lo que vale no puede recuperar lo que se ha dicho antes,
todo lo lleva codificado en ese Estado culto.
Pues bien, los mecanismos de atención dicen.
No vamos a recuperar
las vamos a tener disponibles no recuperar vamos a tener
disponibles las palabras que se han dicho anteriormente
y las vamos a usar ponderadamente con la relevancia de este momento
y entonces por eso se hicieron los mecanismos de atención,
vais ya, no hay flechas de una caja.
Otra, la recurrencia la hemos quitado.
Ya.
Lo que tenemos es que, por ejemplo, en la marca de tiempo tres
lo que vamos a hacer
es todo lo que se ha dicho antes puede ser,
puede ser usado para formar el estado culto,
es decir, nada se pierde,
nada se pierde entonces,
pero cómo vamos a generar ese Estado culto?
Pues de manera ponderada.
Por qué?
Porque para rosa es relevante esto
y a lo mejor no es relevante.
Esto es un ejemplo muy una vez que no me cabe más,
pero hay palabras que son relevantes y los no relevantes.
Les vamos a dar una puntuación de atención,
los transforme, juegan con una puntuación de atenciones
en su capa más característica, que es la capa de atención.
Dan a las palabras que han acontecido anteriormente,
una puntuación de atención de manera que no se pierden
y que todo el rato están disponibles,
es decir, hay una resonancia, como continua,
hay una dispersión más que resonancia,
hay una disponibilidad continua de todo lo que se ha dicho
anteriormente, esa es la clave, con su puntuación de atención
y con sus operaciones, y al final se hace
una suma vectorial, hay parte de aparataje,
pero no es mucho más que se hace una suma amor,
editorial ponderada es una suma vectorial,
ponderada en el fondo es mucho más fácil que las recurrentes,
incluso para los mecanismos de actualización,
para el gradiente descendiente.
Es mucho más fácil hacer esto que hacerlo de las recurrentes,
que hay que hacer un a través del tiempo.
Entonces, bueno, es una suma ponderada de las palabras que eran
quieran, que han participado, y esto son más o menos
lo que pueden ser un transformen en lo que a una cosa.
Claro.
Quitamos la recurrencia y entonces se nos van orden,
porque, claro, yo puedo quitar estas tres palabras.
Como vais, da igual que esté una y la otra
y porque solo tiene una puntuación del tiempo.
Bueno, pues se incluyen una cosa
que se llama incluso estaciones de posición,
es decir,
que a cada palabra la concatenan de alguna manera dicho con una,
con la posición que ocupan en la frase
y entonces se suma el vector del de la capa
de la matriz de incrustación de la palabra,
aunque hay varias materias de estacional que, pero bueno,
al final, en términos lógicos,
se suma a esto con esto.
Es decir, que en la este es hay un indicio que ha aparecido,
la primera palabra y así con todas entonces así gestionan.
Recuperan el orden que se quitó previamente con la recurrencia
quitando la recurrencia no sé si me entendéis ya
y al final, bueno, los bloques transformen,
pues vienen a ser esto.
En definitiva, vienen a ser esto.
Puntuaciones de atención aquí son las puntuaciones atención,
solo hay que entrar un poco haberes,
o sea, yo entiendo que toda esta información así o sea.
Sexto, toda esa información
y y es complicado cuando no estás familiarizados,
pero no,
pero lo que quiero también transmitir es que las piezas son, no muerden,
o sea, si uno puede entrar e entenderlas,
la alta uno puede entrar, entender conceptualmente,
incluso matemáticamente esa no, no, muerde
y además sirve mucho para moverse en la cabeza
de como pueden ser, como digo, distintos tipos de memoria.
Bueno, leo en general el estado oculto,
y ya me faltarán dos minutos y te prometo que acabo, en general,
el estado oculto que posibilita la predicción.
Como digo,
participa cualquier palabra de la secuencia.
Ya no es como la recurrente.
Ya no nos fiamos todo a un estado culto.
Ahora podemos recuperar lo que hemos dicho antes.
El estado culto no va,
no se va arrastrando de manera de de marca,
del tiempo enmarca del tiempo.
Ahora puede recuperar las palabras
y en cada momento generar un estado oculto nuevo,
con todas las palabras, dándoles un una puntuación
de atención.
El estado puerto se va renovando en función de la relación
con la entrada actual, claro, es con lo relevante que es
todas las palabras dichas con lo que se está diciendo ahora,
pues esos son las puntuaciones de atención y cómo se va a generar.
Se va agonizando en cada marca.
Es una resonancia común a todas las secuencias que se actualiza.
Es parecido a la línea de Estado,
pero sin perder lo de antes.
La línea de Estado ya sabéis que genera un Estado vuelto
y lo que no sea estar en ese Estado culto ya no vale;
bueno, pues aquí sí que vale, tendremos la posibilidad
de recuperarlo.
Es la información latente, movilizada en cada momento
cómo la detenerme, pero yo creo que más latente
la atención es la base de los transformen
y, como he dicho antes,
pero también se pueden meter en las redes recurrentes;
es decir, hay en general las redes recurrentes
que vienen ahora; son el stm y con atención;
ese es el estándar.
Acabo en las conclusiones
o si va a hablar de compasión, asistemática pero bueno,
como ya no nos queda tiempo, diré o recomiendo mucho
este este artículo,
que es un artículo en el que habla de todas estas cosas
y la foto.
Volvió catastrófico ni una suerte, y las conclusiones,
bueno, tanto los nuevos algoritmos como la cuestión de escala,
suponen un reto y una oportunidad para las teorías psicológicas.
Ya han dicho.
Ha empezado todas las cosas que se proponen
en el libro seminal de maquila, en la entro Mejana Manuela del pdp,
pues yo creo que ahora estamos mucho más en disposición de hacerlo.
Bueno, no de cumplirlo,
sino de trabajarlo también lo suponen para la tecnología
inspirada en cognición humana.
Yo hago el distingo
que con no veo inspirada nosotros estamos al procesamiento;
cognitivo lo voy esperado, es otra cosa, es una plena,
pero en general los psicólogos o los de la disciplina
de la psicología nos dedicamos más bien al proceso cognitivo
y no a simular la dinámica neurona son cosas distintas,
incluso lo es para la capacidad de modelos predictivos
aplicados.
Bueno, sí se pueden hacer modelos predictivos a teóricos
sin tener en cuenta el modelo cognitivo que hay detrás y bueno,
y la frase de más contundentes que nunca,
la psicología tener tantos mecanismos de toma de control
para formalizar teorías acerca de la adquisición
y de la comprensión del lenguaje,
que es un poco el tema.
Entonces, bueno, esto me dijo José Ángel,
que no podía decir que es que para estas cosas la Complutense,
estoy a ver, está en prensa un libro que va a hablar
de todas estas cosas que más o menos he leído, que es como
Paco Umbral; he venido también hablar,
no lo voy a poner mucho tiempo para no ser políticamente incorrecto.
Bueno, y con esto, muchas gracias.