Durante el segundo semestre de 2007, Dan Crown, director de craw systems de Google, impartió una ponencia en el Search Engine Marketing New England y reveló el próximo lanzamiento de un nuevo meta-tag llamado Unavailable After que se empleará para que los robots retiren de inmediato una Web cuando haya expirado la fecha indicada por el webmaster en el meta.

En principio no tenemos noticias de que se haya llevado a cabo la integración del nuevo meta. De hecho hemos consultado el artículo de Google sobre las metaetiquetas y no aparece en la lista. Resultaría interesante disponer de esta y otras posibilidades que dieran cobertura a una comunicación más fluida o amigable con los robots. Las peticiones al archivo robots.txt son resueltas de forma lenta hoy en día y tardan demasiado tiempo en actualizarse los listados de búsqueda por lo que sanear una Web infectada de errores y duplicidades puede llevarnos semanas o incluso meses hasta dar con los resultados deseados.

Para obtener los resultados contrarios, o sea, que nuestras páginas aparezcan siempre en los directorios de Google siempre es más útil valerse del un archivo de Sitemap que especifique la fecha y la frecuencia de cambio de las páginas.

Debemos destacar la aparición de herramientas muy interesantes de Google en este sentido que ayudan a paliar en parte estas carencias. Nos referimos a la visión general, análisis de contenido o eliminar URL.