"Lo he visto en Boing Boing, al hilo del tío que se ha puesto de los nervios porque dice que Google Maps espía a su gato [www.boingboing.net/2007/05/30/google_maps_is_spyin.html]… Un fichero robots.txt “físico” para especificar a Google qué partes puede y no puede indexar de tu casa"

Despues de mucho tiempo haciendose las victimas, parece que a la SGAE sí que le importa que su web aparezca en las primeras posiciones cuando buscamos "ladrones" en Google (www.google.es/search?hl=es&q=ladrones). Por eso han puesto un fichero "robots.txt" (www.sgae.es/robots.txt) para intentar que Google no les rastree.

Interesante y extenso artículo en el que explica el funcionamiento general de un motor de búsqueda, tanto en sus inicios como a partir del nacimiento de Google y Altavista donde surgieron las arañas. Se centra en Google y en sus dos algoritmos de ordenación: PageRank y Relevancia. Finalmente habla sobre el futuro de la indexación: Google Sitemaps.

Parece que la web de www.gipuzkoa.net está usando un archivo robots.txt para evitar ser indexada por Google. Curioso, aparte de dificultar a los usuarios el acceso a la información a través de buscadores. ¿Por qué?