GoogleBot y robots.txt
Bien, esta mañana me he dado cuenta que en una web que tengo, habían desaparecido todas las imagenes que tenía en una base de datos.
Lo primero es pensar que alguien ha accedido a la base de datos y lo ha borrado, pero todo lo demás estaba intacto, así que mirando los logs del servidor he descubierto una cosa alucinante. Para eliminar una imagen, lo tengo en una página .asp que le paso el nombre de la imágen por la url y el googlebot, que es muy listo, me lo ha indexado todo, y a la vez, me lo ha borrado.
Solución: Implementar un robots.txt (que yo pensaba que no servía para nada) y decirle que por esas carpetas no pase... Lo que no me sorprenda ya...

Articulo
Historial
Imprimir

