Qué es el archivo robots.txt y cómo eliminar web de buscadores

Qué es el archivo robots.txt

El archivo robots.txt es un fichero  de nuestra página web que sigue el estándar de exlusión de robots y que contiene instrucciones para los robots o arañas que les indica qué partes permitimos indexar automáticamente y cuáles no. Está escrito en formato de texto plano con extensión .txt.

Estos ficheros se encuentran ubicados en la raíz de la página web y, por lo tanto, si accedemos a cualquier página y añadimos a la url “/robots.txt” deberíamos poder acceder a dicho archivo.

Es importante entender cómo funciona el archivo robots.txt, se comporta como una lista negra, es decir, aquello que no esté prohibido explícitamente está permitido y, por lo tanto, será indexado por los robots. Por ejemplo:

• Si el archivo no existe, los robots podrán indexar cualquier contenido del sitio.
• Si el archivo existe y, por ejemplo, prohibimos la indexación de una carpeta concreta, los robots podrán indexar cualquier contenido del sitio que no esté en esa carpeta.

No es estrictamente necesario ni mejorará tu SEO drásticamente, aunque es muy recomendable tenerlo. La mayor parte de gestores de contenido como Blogger o WordPress los generan automáticamente y facilitan, a través de las opciones de la interfaz, su creación y/o modificación.

Ejemplos de archivos robots.txt

Veamos dos ejemplos del archivo robots.txt:

User-agent: *
Disallow: /

• La línea “User-agent” indica para qué robot estamos prohibiendo o permitiendo la indexación de contenido.
• El asterisco “*” significa “Todos”, en este caso “Todos los robots”.
• La línea “Disallow: /” indica que prohibimos la indexación de todo el sitio web puesto que una sola “/” indica el directorio raíz del sitio web.

Por lo tanto, en este ejemplo, lo que se está prohibiendo es el rastreo de todo el sitio web para todos los robots o arañas existentes.

Veamos otro ejemplo de archivo robots más complejo:

User-agent: psbot
Disallow: /cgi-bin/

En este ejemplo se está prohibiendo el rastreo de la carpeta “/cgi-bin” solo para el robot o araña llamado “psbot”.

Finalmente, vamos a ver el ejemplo de robots de Stack Overflow:

User-Agent: *
Disallow: /posts/
Disallow: /posts?
Disallow: /questions/ask/
Disallow: /questions/ask?
...
Disallow: /
User-agent: 008
...
Sitemap: https://stackoverflow.com/sitemap.xml

Las primeras líneas están prohibiendo, para cualquier agente o araña web, el rastreo de todo lo que haya en la carpeta post y questions. Seguidamente nos encontramos con la restricción de rastrear el sitio completo para el agente “008”. Finalmente, como veremos más adelante, al final del archivo robots encontramos la línea que indica dónde se encuentra el sitemap de la web.

Para ver más ejemplos de ficheros robots puedes ir a cualquier página que visites asiduamente y, tras la dirección principal, debes escribir “/robots.txt”.

Eliminar web de resultados de búsqueda

Un detalle muy importante a tener en cuenta es que el archivo robots.txt no sirve para ocultar una web en los resultados de búsqueda, sólo impide que las arañas ratreen el sitio para, por ejemplo, no saturar nuestra web con tráfico adicional. Es decir, si tenemos una página excluida en el archivo robots pero otra página externa tiene un link a dicha página excluida, ésta aparecerá en los resultados de búsqueda tarde o temprano.

Los pasos para eliminar una web de los resultados de búsqueda son:

• Eliminarla directamente del sitio web, rehacer el sitemap y volver a enviarlo a los buscadores, es el método recomendado por su simplicidad.
• Ocultar el contenido tras un login, de ésta manera Google será incapaz de acceder a su contenido y, por lo tanto, no podrá indexarlo.
• Utilizar la metaetiqueta noindex para indicar a los buscadores que el contenido no puede ser indexado.

Sitemap y archivo robots.txt

Una de las partes más importantes del archivo robots.txt es el sitemap.xml el cual se indica, generalmente, en la última línea con el formato “Sitemap: http://myWeb/sitemap.xml”.

Si recordamos, un sitemap sirve para indicar a los buscadores, de manera resumida, el contenido de nuestra web y la fecha de modificación de cada artículo entre otra información. Podemos decir que es algo muy similar al índice de un libro.

No es obligatorio tener esta línea en el fichero de robots aunque sí muy recomendable. Ten en cuenta que, cuando una araña de Google o Bing visita nuestro sitio web, una de las primeras cosas que analiza es el archivo robots y, por lo tanto, si le indicamos dónde tenemos el sitemap, le estaremos facilitando el trabajo.

Podemos decir incluso que es bueno para el SEO de nuestra web puesto que, cada vez que nos visite una de estas arañas web, el contenido de nuestra web se actualizará en los buscadores.

Robots.txt y Google Search Console

A diferencia del sitemap, no es necesario enviar el archivo robots.txt a Google, basta con poner el archivo en la raíz de nuestra web y, tras un tiempo prudente, el buscador conocerá de su existencia y analizará el contenido del archivo.

No obstante, lo que sí podemos hacer es seguir los siguientes pasos para comprobar el archivo robots.txt en Google Search Console:

• Accedemos al apartado “Ajustes”, sección “Rastreo”.
• Verificamos que en la línea de robots aparece el mensaje “Todos los archivos son válidos”.
• Pulsamos sobre “Abrir informe”.
  

  

• Verificamos, para cada línea, que el estado es “Obtenido” y que no existen incidencias.
  

  

Robots.txt y Bing Webmaster Tools

El caso de Bing Webmaster Tools es muy similar a Google, tampoco es necesario enviar el archivo robots.txt a Bing, éste es capaz de detectarlo automáticamente.

Para comprobar el archivo robots.txt en Bing seguiremos los siguientes pasos:

• Apartado “Herramientas y mejoras”, sección “Evaluador de robots”.
• Comprobamos que el archivo se ha cargado correctamente en el Editor de código de Bing.
  

  

• Pulsamos sobre “Continuar”.
• Seleccionamos la opción “Comprobar en directo” si queremos testear y acceder el archivo robots actual de nuestra web. Se abrirá una nueva pestaña con el contenido del mismo.
• Pulsamos sobre “Enviar” si lo que queremos es solicitar a Bing que actualice el archivo robots.txt o, dicho de otra manera, hacerle saber que nuestro archivo ha cambiado.
  

  

Información adicional del archivo robots

Finalmente, si queréis ampliar información sobre todas las instrucciones del archivo robots, en Internet existe muchísima información al respecto como en el enlace anterior. Algunos de los puntos más importantes del archivo robots que aparecen en dicho enlace son:

• Cómo funciona el archivo robots. Aunque ya lo hemos comentado en este artículo, no está de más tener otros puntos de vista.
• Preguntas frecuentes FAQ del archivo robots. Merece la pena echarle un vistazo a esta sección, aparece información interesante como libros acerca de las arañas y robots web.
• Listado de los robots o agentes que existen en Internet.
• Búsqueda por ip de los robots que visitan tu web. Con estas herramientas podrás verificar la dirección ip de los visitantes y verificar si realmente es tráfico real o de robots.