Cuando lanzamos una Web nueva o hacemos un cambio de diseño, debemos tener en cuenta una serie de elementos para ser indexados por Google o no desaparecer del buscador.
¿Qué elementos son importantes para la indexación?
1. Archivo Robots.txt
Es muy importante revisar el archivo Robots.txt para detectar si estamos impidiendo el acceso a los buscadores para su rastreo.
En el archivo se indican varios comandos:
– User-agent: -> etiqueta para indicar que robots pueden o no indexar el contenido
– Disallow: -> para indicar el contenido que no queremos que indexe
– Allow: -> para indicar el contenido que si queremos que indexe
Si en nuestro sitio encontramos Disallow: /, estaríamos impidiendo la indexación de toda nuestra Web.
Recordar que el archivo robots.txt debe guardarse en la raiz del dominio por lo que podréis consultarlo visitanto la URL:
http://www.midominio.com/robots.txt
Este archivo podéis generarlo de forma manual o a través de Google Webmaster Tools ya que te permite probarlo.
2. Meta Robots
Además del archivo robots.txt, también debemos consultar en el código fuente de la Web si aparece la siguiente meta:
<META name="robots" content="NOINDEX,NOFOLLOW">
Si esta meta aparece en el código de la página con el NOINDEX estaríamos impidiendo el rastreo de los buscadores de esa URL por lo que no podría ser indexada.
3. Acceso al contenido + Sitemap.xml
Si ciertas páginas de la Web no son indexadas, es posible que sea debido a que el buscador no puede acceder a esa página ya que no se encuentra enlazada en el propio sitio o a que no se encuentra en el archivo sitemap.xml indicada.
¿Cómo saber qué contenido ha sido indexado?
Es muy sencillo, nos vamos al buscador Google.es y hacemos una búsqueda con el siguiente comando:
site:www.midominio.com
Con esta consulta Google nos devolverá las páginas que tiene almacenadas.
Desde Google Webmaster Tools podrás ver también el Estado de indexación:
¿Cómo acelerar la indexación de nuevo contenido o de un nuevo dominio?
Si generamos nuevas páginas en nuestra Web o si lanzamos un nuevo dominio y queremos acelerar su indexación, podemos conseguirlo con la ayuda de Google Webmaster Tools.
Desde Rastreo < Explorar como Google, podemos indicarle las páginas que queremos Enviar al índice.
Y además, ya que tras crear una Web o generar nuevo contenido el archivo sitemap.xml se actualiza, desde Webmaster Tools también puedes enviar el Sitemap para acelerar el rastreo. El Sitemap podrás enviarlo desde Rastreo < Sitemaps.
Recuerda que desde Webmaster Tools podemos consultar mucha información sobre Rastreo.