La indexación manual consiste en enviar una serie de archivos a los buscadores para que éstos conozcan la estructura y contenido de una página web. Es el método recomendado porque es más rápido y más controlable.
A continuación vamos a enumerar los pasos para indexar una web manualmente.
Cómo crear sitemap
El primer paso para crear y verificar un sitemap es conocer qué es un sitemap, un fichero XML que almacena, de manera estructurada, el contenido de nuestra web.
Aunque existen varios tipos de sitemap, los más conocidos son:
- Sitemap XML, el utilizado por los robots como Google para indexar el contenido de una web. Este será el que utilizaremos, generaremos y enviaremos a los buscadores como Google.
- Sitemap HTML, utilizado por y para los humanos para que éstos conozcan el contenido de una página web.
- Sitemap RSS o ATOM, utilizado por lectores de feed que permiten a las personas estar suscritas al contenido de una web.
Después de conocer esta información, el siguiente paso es crear el sitemap, este punto depende de qué tipo de sitio web tengáis:
- Si tenéis un sitio web creado con gestor de contenidos, muy seguramente éste sea capaz de generarlo automáticamente. Por ejemplo, WordPress y Blogger son capaces de realizar esta tarea de manera sencilla y automáticamente.
- Si tenéis un sitio web sin gestor de contenidos, es decir, tenéis una página web genérica, podéis generar el sitemap de manera manual o automáticamente mediante alguna herramienta de Internet como, por ejemplo, XML-Sitemaps.
Finalmente y, como último paso, necesitaremos verificar que el sitemap es correcto utilizando alguna web como, por ejemplo, XML validator XSD.
Cómo enviar sitemap
Una vez generado el fichero a través de cualquiera de las opciones expuestas anteriormente, es necesario enviar el sitemap a los buscadores para que conozcan el contenido del sitio. Este paso depende de dónde queramos enviarlo y, por lo tanto, los pasos para enviar el sitemap a Google y Bing:
- Para enviar el sitemap a Google utilizaremos Google Search Console. Esta herramienta no solo permite el envío, también permite verificar que el envío del sitemap es correcto, conocer el número de páginas indexadas y conocer algunos errores de indexación en Google como, por ejemplo, página alternativa con etiqueta canónica adecuada.
- Para enviar el sitemap a Bing utilizaremos Bing Webmaster Tools, la herramienta de Microsoft que nos permite gestionar temas relacionados con el SEO de una web. De nuevo, esta herramienta permite verificar que el envío se ha realizado correctamente y nos muestra un listado con los errores de indexación de nuestra web.
Finalmente veremos cómo saber qué tenemos indexado en Google y Bing a través de las herramientas anteriormente expuestas y a través de la búsqueda, tanto en Google o Bing, de nuestra web con el comando “site:https://miWeb.com”.
Qué es robots.txt
El archivo TXT robots.txt es un fichero de texto que sirve para indicar a las arañas qué contenido es rastreable y cuál no lo es. Es interesante conocer cómo funciona el archivo robots.txt, es una lista negra donde aquello que no está prohibido de manera explícita está permitido.
Un ejemplo de archivo robots.txt sencillo es el siguiente donde, para la araña con nombre psbot, prohibimos rastrear la carpeta /cgi-bin/ y, como no tenemos nada más, permitimos rastrear el resto de la web a esa araña y la web completa a todos las arañas que no tengan ese nombre:
User-agent: psbot
Disallow: /cgi-bin/La principal diferencia entre el sitemap y robots.txt es:
- El sitemap permite indicar a los buscadores la estructura o contenido de nuestra web.
- El archivo robots.txt sirve para evitar que las arañas web rastreen determinadas partes de una web.
Además de lo anterior, es importante conocer que el fichero robots.txt no sirve para eliminar una página de los buscadores, para ello existen otras técnicas como:
- Eliminar la página concreta de la web.
- Enmascarar el contenido detrás de un login para que Google no pueda acceder.
- Utilizar la metaetiqueta HTML noindex.
Aunque, como hemos comentado anteriormente, el sitemap y el archivo robots.txt son archivos distintos, es posible indicar en el archivo robots.txt dónde está el sitemap añadiendo simplemente la siguiente línea al final del archivo:
Sitemap: http://myWeb/sitemap.xmlFinalmente hay que tener en cuenta que podemos indicar a los buscadores principales como Google o Bing, a través de Google Search Console y Bing Webmaster Tools, dónde se ubica el archivo robots.txt (importante siempre ubicarlo en la raíz de la página web) y comprobar y corregir, si es que existen, los errores del fichero robots.txt.
