Entiendo cómo una URL puede acabar en conocimiento de Google aún cuando los dueños del sitio web al que pertenece esa dirección hayan expresado de forma explícita en su fichero robots.txt que no quieren que sea indexada.
|
etiquetas: por qué , hacen , buscadores