User-agent: psbot
Disallow: /

User-agent: webreaper
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: AhrefsBot
Crawl-Delay: 2

User-agent: SemrushBot
Crawl-Delay: 2

User-agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow: /trampa/
Noindex: /cgi-bin/
Noindex: /errordocs/
Noindex: /tutoriales/graficos/
Noindex: /tutoriales/lista/
Noindex: /tutoriales/descarga.html
Noindex: /programas/graficos/
Noindex: /programas/lista/
Noindex: /programas/descarga.html
Disallow: /error/

# Prevalece el último valor del crawl-delay correctamente, no toma el allow/disallow vacío como indicación de tomar el de *, de modo que lo indico aparte.
# De los noindex ni caso, pues no indexa. https://dataforseo.com/dataforseo-bot IP: 136.243.228.178
User-agent: DataForSeoBot
Disallow: /trampa/
Disallow: /error/
Disallow: /cgi-bin/mailcode.pl

User-agent: *
Disallow: /trampa/
Noindex: /cgi-bin/
Noindex: /errordocs/
Noindex: /graficos/
Noindex: /tutoriales/graficos/
Noindex: /tutoriales/lista/
Noindex: /tutoriales/descarga.html
Noindex: /programas/graficos/
Noindex: /programas/lista/
Noindex: /programas/descarga.html
Disallow: /error/
Disallow: /cgi-bin/mailcode.pl

Sitemap: http://www.abcdatos.com/mapasitio.xml

# BEGIN Magic robots.txt
# ---------------------------

# General
User-agent: *
Allow: /blog/
Allow: /blog/wp-admin/admin-ajax.php
Disallow: /blog/wp-admin/
Disallow: /blog/readme.html$

# Analizadores de enlaces
User-agent: AhrefsBot
Crawl-Delay: 1
User-agent: SemrushBot
Crawl-Delay: 1
User-agent: MJ12Bot
Crawl-Delay: 1
User-agent: dotbot
Crawl-Delay: 1
User-agent: BLEXBot
Crawl-Delay: 1
User-agent: serpstatbot
Crawl-Delay: 1
User-agent: DataForSeoBot
Crawl-Delay: 1
User-agent: omgilibot
Crawl-Delay: 1
User-agent: barkrowler
Crawl-Delay: 1

# Descargadores
User-agent: webreaper
Disallow: /blog/
User-agent: MSIECrawler
Disallow: /blog/
User-agent: WebCopier
Disallow: /blog/
User-agent: HTTrack
Disallow: /blog/
User-agent: VelenPublicWebCrawler
Disallow: /blog/
User-agent: AwarioBot
Disallow: /blog/
User-agent: AwarioRssBot
Disallow: /blog/
User-agent: AwarioSmartBot
Disallow: /blog/

# ---------------------------
# END Magic robots.txt