Ejemplo de robots.txt recomendado para WordPress [2019]

Aquí encontrarás un fichero robots.txt especialmente preparado para mejorar la seguridad de WordPress. Te será útil tanto si no tienes ningún robots.txt como si quieres mejorar el actual.

Piensa que el fichero robots.txt es importante por 2 motivos:

  • Sirve para indicar la ubicación del fichero sitemap.xml que usa Google para obtener un listado de las páginas existentes en el sitio y que debe indexar.
  • Evita que Google indexe por error ficheros con información privada y, que luego un atacante puede explotar haciendo búsquedas en Google.
    Esta técnica se llama Google Dorks. Te pongo un ejemplo de una búsqueda peligrosa que puedes hacer ahora mismo en Google y, que sirve para encontrar backups de bases de datos en sitios vulnerables.
inurl:/wp-content/uploads/ filetype:sql


Como puedes ver tener un fichero robots correctamente configurado es importante para proteger tu sitio. Y aunque parezca mentira, WordPress no lo trae por defecto, ni siquiera uno básico.

WordPress deja la tarea de crear y configurar el fichero robots.txt a plugins como Yoast o a ti mismo como administrador del sitio. Así, si no usas Yoast u otro plugin tienes que crear y subir tu propio robots.txt usando una cuenta FTP o el administrador de archivos.

Dónde subir el robots.txt

Cuando subas tu fichero robots.txt tienes que hacerlo a la raíz del sitio -si tienes un cPanel súbelo en la carpeta public_html- y para probar que funciona visita esta dirección en el navegador:

http://example.org/robots.txt

Este es el resultado si funciona bien:

Ejemplo robots.txt seguro para WordPress

Este robots ha sido diseñado para mejorar la seguridad de un WordPress y está basado en el proyecto WPHardening que es una herramienta para fortificar WordPress desde la consola de comandos.

Sitemap: http://example.org/sitemap.xml 

User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

# Reglas para bots conocidos

User-agent: Googlebot

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: / 

Este ejemplo de robots.txt para WordPress esta pensado para mejorar la seguridad de tu sitio web. Es un punto de partida para empezar la personalización, desactivando otros bots o bloqueando la indexación de carpetas con contenido privado.

César Maeso

Aprende más

Creative Commons License

Esta obra está bajo una licencia de Creative
Commons Reconocimiento-NoComercial-CompartirIgual
4.0 Internacional
.