# www.robotstxt.org/
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

# Bots sin utilidad para el portal y con carga alta sobre /video/{id}, el
# endpoint mas caro del sitio. Ambos consultan robots.txt (56 y 5 veces en
# 13 h el 03/08/2026), asi que la exclusion es efectiva.
#
#   AwarioBot  escucha social      8.379 peticiones, 7.040 a /video/{id} (14 % del endpoint)
#   DotBot     crawler de Moz        486 peticiones,   391 a /video/{id}
#
# SemrushBot se deja fuera de esta lista a proposito: la UNED puede que use Semrush.
User-agent: AwarioBot
Disallow: /

User-agent: DotBot
Disallow: /

# Amazonbot-Video se descarga los masteres completos vIa ?forcedl=1: 1.157
# descargas y 37,8 GB en 13 h (03/08/2026), servidos por PHP-FPM. No aporta
# trafico al portal y consulta robots.txt, asi que se le excluye de /trackfile/.
# Un grupo propio hace que ignore el grupo "*", por eso se repiten sus reglas.
User-agent: Amazonbot
Disallow: /trackfile/
Disallow: /series/magic/
Disallow: /video/magic/
Disallow: /iframe/magic/
Disallow: /security/

User-agent: *
Disallow: /series/magic/*
Disallow: /video/magic/*
Disallow: /iframe/magic/*
Disallow: /security/*

# Enlaces de descarga de la ficha del video. Se sirven por PHP-FPM (la rama
# forcedl de TrackFileController se ejecuta ANTES de la redireccion al DLS) y
# supusieron 43,7 GB de trafico de bots en 13 h.
#
# NO se bloquea /trackfile/ entero a proposito: es tambien la fuente del
# reproductor (StreamsManifest emite https://<host>/trackfile/...), y cerrarla
# impediria a Google indexar los videos. Todo el trafico problematico de bots
# lleva forcedl=1 (3.703 peticiones frente a 48 sin el), asi que este patron
# corta el 100 % del coste sin tocar la reproduccion.
Disallow: /*forcedl=

# Google ignora Crawl-delay; lo respetan Bing, Yandex, Semrush y Amazonbot.
Crawl-delay: 5