¡Hola otra vez! En este vídeo vamos a hablar de
la arquitectura transforme. Te suena, ¿verdad?
Esta tecnología marcó un antes y un después en
el desarrollo de modelos de lenguaje.
Surgió en el año 2017 y fue diseñada por el informático
indio Ashish Baswani y su equipo. Desde entonces
la arquitectura transforme se ha convertido
en la base de modelos como Bert, GPT o T5.
¿En qué consistió esta revolución?
Pues en pocas palabras, en la atención. El transformer
introdujo el mecanismo de atención como núcleo
del procesamiento, dejando atrás la necesidad
de procesar texto en orden secuencial,
como hacían los modelos anteriores.
Esta nueva forma de abordar el lenguaje permitió que
cada palabra pudiera fijarse en otras partes
del texto según su relevancia contextual,
independientemente de su ubicación.
Te lo explicamos con un ejemplo. Imagina que estás
leyendo una novela y te encuentras con la palabra "el".
Para saber a quién se refiere,
necesitas conectar con un personaje mencionado
anteriormente, aunque haya pasado un párrafo o más.
Pues el transformer hace algo parecido,
ya que evalúa dinámicamente qué palabras del
contexto son más relevantes para interpretar
correctamente el significado de cada término.
Y este mecanismo no se ejecuta solo una vez,
sino en paralelo. Es lo que se conoce
como atención multicabeza. Cada "cabeza"
analiza el texto desde una perspectiva diferente.
Una puede enfocarse en la estructura gramatical,
otra en el significado, otra en los temas principales, etc.
Al final, todos estos enfoques se combinan
para obtener una representación rica y precisa.
¿Lo tienes más o menos claro?
Pues veamos ahora los principales componentes de la arquitectura
transformer. En primer lugar, tenemos el encoder
o codificador, que procesa todo el texto
de entrada al mismo tiempo. Esto es posible
gracias al uso de estos cuatro elementos,
embeddings de entrada y posicionales.
El primero transforma cada palabra en un vector
numérico, mientras que El Segundo añade
información sobre el orden de las palabras.
Es decir, que aunque el modelo no recorre
al texto secuencialmente, necesita saber
que "el perro muerde al hombre" no es lo
mismo que "el hombre muerde al perro".
Después encontramos varias capas de atención
multicabeza que, como acabamos de ver, permiten
al modelo identificar diferentes relaciones
internas entre las palabras. En tercer lugar,
se aplican redes feedforward, que procesan
cada vector individualmente para enriquecer
aún más su representación. Y por último,
tendríamos las conexiones residuales y los mecanismos de normalización.
Las primeras facilitan el aprendizaje mientras que los
segundos estabilizan el entrenamiento.
Por su parte, el otro componente de esta arquitectura,
llamado decoder o generador de texto, tiene
una estructura muy similar al encoder, pero
con dos particularidades. Primero, utiliza
atención enmascarada para evitar que el modelo
espie las palabras que aún no ha producido.
Y segundo, incorpora atención cruzada para
conectarse con las representaciones generadas
por el encoder y construir una salida coherente y contextualizada.
Quizá te estés preguntando qué hizo
que el transforme fuera tan innovador.
Pues bien, uno de los motivos es la capacidad de procesar
secuencias completas en paralelo, lo que permitió
entrenar modelos de forma mucho más rápida
que las redes neuronales recurrentes.
Otro motivo es su independencia posicional, que
eliminó las limitaciones de modelos anteriores
relacionadas con la secuencialidad.
Y tercero, el uso de conexiones residuales, que ayudaron
a escalar la arquitectura a modelos mucho más
profundos y potentes, sin perder información
importante en el camino. En conjunto, estos
tres elementos convirtieron al transformer
en una estructura excepcionalmente eficaz, que
abrió la Puerta al desarrollo de la inteligencia
artificial generativa tal como la conocemos hoy.
[Música de fondo]
[Silencio]