Todos sabemos lo estrictas que son las recomendaciones y directrices para Webmasters de Google y todos sabemos también lo sencillo que es incurrir en códigos o errores que nos dejen penalizados por bastante tiempo. En muchos casos son errores involuntarios que no dan lugar a la rectificación.

Me parece correcto que se mantengan este tipo de políticas estrictas que ayuden a organizar el trabajo de Google y todo eso pero se me antoja que el sistema no es perfecto y que las máquinas también se equivocan y, en ese caso, ¿quién penaliza estos errores?

El caso que me ha ocurrido es el siguiente: configuro mi archivo robots.txt añadiendo, entre otras, una orden para excluir los tags que se vayan creando

User-agent: *

Disallow: /images/
Disallow: /*tag/
Disallow: /*page
Disallow: /*robots.txt
Disallow: /wp-
Disallow: /search
Disallow: /?s=
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

El User-agent es genérico y como sabéis el comodín /* me sirve para indicar que no indexe ningún URL que contenga la subcadena tag/ en ningún lugar del URL.

Pese a todo lo indicado me indexan estas dos entradas:

www.consultorweb.es/tag/unavailable-after/   hace 22 horas – Páginas similares – Anotar esto

www.consultorweb.es/tag/paginas-dinamicas/   hace 22 horas – Páginas similares – Anotar esto

Me imagino que será algo transitorio, que el boot en cada una de sus pasadas rectificará este tipo de errores, que no repercutirá en el popular y desconocido algoritmo, pero imagínense que despúes de estar haciendo un seguimiento día a día de la evolución de esta Web no dejan de sorprenderme y enfadarme este tipo de impresiones erróneas.