¡Hola!
En este vídeo te contamos paso a paso
cómo nuestro equipo de investigación preparó,
transcribió y entrenó un modelo específico
para transcribir el Diario de Madrid usando herramientas de reconocimiento
de texto histórico.
¿Todo listo?
¡Pues empezamos!
Para transcribir automáticamente el Diario de Madrid
optamos por usar Transcribus, una plataforma
especializada en reconocer textos en documentos históricos.
Entre los modelos disponibles, seleccionamos
el Spanish Golden Age Theatre Print 1.0,
creado por Álvaro Cuellar.
Aunque fue entrenado principalmente con obras teatrales
del siglo de oro, su tipo de letras se parecen muchísimo al del diario
de Madrid.
Por eso nos pareció un punto de partida sólido
para nuestro proyecto.
Ahora bien, antes de poder transcribir,
Transcribus necesita entender la estructura de cada página.
A este proceso lo llamamos reconocimiento de layout.
Veamos, pues, qué es el layout y por qué es tan importante.
Básicamente, el sistema debe identificar correctamente
dónde comienza el texto, dónde hay columnas o tablas,
y también distinguir entre texto y elementos decorativos,
como manchas o sellos.
Sin embargo, nos encontramos con varios problemas.
A veces Transcribus confundía manchas con palabras,
detectaba mal las columnas o desordenaba las líneas de texto.
Por eso nos dimos cuenta de que para trabajar con columnas
era mejor marcarlas como regiones independientes.
Así Transcribus podía leer en el orden correcto.
Veamos ahora cómo se organizó la anotación del layout.
Una vez detectados los problemas nos dimos cuenta
de que era fundamental anotar el layout de forma coherente.
Para lograrlo elaboramos una guía común.
Esta guía daba solución a problemas como los siguientes.
Al encontrarnos con una tabla la dividimos en varias regiones
para que se leyera correctamente.
Si había manchas que no forman parte del contenido,
simplemente las eliminábamos.
Y si una palabra no podía leerse, la marcábamos como ilegible.
Gracias a esta metodología,
en poco tiempo ya habíamos corregido manualmente 203 periódicos
de un total de 436.
Aún así, decidimos entrenar un modelo nuevo
para este periódico en concreto.
¿El motivo?
Pues aunque el modelo original fue un buen primer paso,
pronto vimos que cometía errores en aspectos cruciales.
Por ejemplo.
No reconocía bien los números, que son fundamentales
para las fechas y datos.
También tenía fallos en el reconocimiento de mayúsculas,
importantes para detectar nombres propios,
lugares o títulos.
Por todo esto, decidimos entrenar un modelo específico
utilizando documentos reales del Diario de Madrid.
Según las recomendaciones de Transcribus,
para un buen entrenamiento
se necesitan al menos 75 páginas bien transcritas
o unas 15.000 palabras.
Para medir la calidad de nuestro modelo usamos el CER,
el carácter Error Rate.
Cuanto más bajo sea el CER, mejor será el reconocimiento.
Llegados a este punto era imprescindible
contar con transcripciones manuales de calidad.
¿Cómo lo hicimos?
Pues un equipo compuesto por tres estudiantes en prácticas
y varios investigadores dedicó un total de 148 horas
a descargar documentos, corregir layouts
y transcribir textos a mano.
El esfuerzo dio sus frutos.
Conseguimos 193 páginas listas para entrenar
el primer modelo específico del Diario de Madrid.
Antes de entrenar, revisamos todas las transcripciones
siguiendo una guía de normalización común
para garantizar la coherencia de las transcripciones.
Algunos criterios fundamentales
fueron conservar siempre la ortografía original,
incluidos los usos antiguos de letras y mayúsculas,
convertir números romanos a arábigos,
y escribir ilegible si una palabra no se podía leer.
El último paso en el trabajo con Transcribus
fue la exportación de los documentos.
Transcribus ofrece varias modalidades de exportación,
pero la más útil para el proyecto es la exportación a ficheros
Word o Doc. Ya que permite realizar búsquedas con herramientas de edición
de texto.
Actualmente solo es gratuita la descarga a Word
mediante la opción de Quick Text Recognition.
Esta exportación resulta especialmente interesante
porque cuando una palabra aparece separada
por un guión al final de una línea,
Transcribus la une automáticamente en la transcripción en Word,
cosa que no ocurre con otros tipos de fichero
como los TXT, Text.
¿Y esto por qué es tan importante?
Pues porque para aplicar modelos de reconocimiento de palabras
necesitamos que estén compactas.
Si los guiones permanecen,
como sucede en la exportación a texto plano, el rendimiento de los modelos
se ve afectado.
Ahora bien, en el proyecto
ClaraHD sí que necesitamos los periódicos en texto plano
para la experimentación.
Para resolver el problema de los guiones,
diseñamos un script que convierte automáticamente
los documentos de Word en ficheros de texto plano,
corrigiendo estas separaciones.
Gracias a todo este proceso previo, pudimos entrenar un modelo
que se adapta perfectamente tanto al estilo gráfico
como al lenguaje del diario de Madrid.
Un modelo que hoy es una herramienta muy valorada
en investigación histórica y humanística.
¿Te apetece saber más sobre este proyecto?
Pues no te pierdas el siguiente vídeo.