Durante 25 años, el Protocolo de Exclusión de Robots (REP) fue sólo un estándar de facto. Esto tenía implicaciones frustrantes a veces. Por un lado, para los webmasters, significaba incertidumbre en casos límite, como cuando su editor de texto incluía caracteres BOM en sus archivos robots.txt. Por otro lado, para los desarrolladores de crawlers y herramientas, también trajo incertidumbre; por ejemplo, ¿cómo deberían tratar con archivos robots.txt que tienen cientos de megabytes de tamaño?

Estoy seguro de que todas las empresas y usuarios de internet aceptarían, diseñarían y respetarían una extensión del protocolo robots.txt que indicase cuales son los contenidos por cuyos enlaces hay que pagar, a quién y cuánto.

El Boletín Oficial de Alicante ha decidido que todo lo que se publique en su Boletín no aparezca en los buscadores de Internet. Hace uso del fichero robots.txt: ov.dip-alicante.es/robots.txt para indicar que todo el boletín al completo no sea indexado. La consecuencia es que nada de lo que se ha publicado en el BO de Alicante aparece ya en Google: www.google.es/search?q=site:ov.dip-alicante.es&oq=site:ov.dip-alic Relacionada: www.meneame.net/story/robots-txt-boe-google-no-indexe-condenas-indulto

Como curiosidad, quitando la parte técnica del artículo que enlazo, exponen un caso de la Casa Real en el que se muestra que siguen intentando eliminar el rastro de Iñaki Urdangarin de su página web.

Best robots.txt EVER

Muchos sitios web hacen uso de expertos en SEO (Search Engine Optimization) y SEM (Search Engine Marketing) para posicionar correctamente las páginas web junto con los resultados que les interesan. Esto es una dura tarea en varias áreas, pero podríamos simplificarla con un "Salir lo más arriba en los resultados de un buscador en los términos que interese a la compañía", lo que parece muy evidente, pero también "Salir lo más abajo o no salir junto a los términos que no interese".

La Casa Real Española impide que Google (y el resto de buscadores) indexen y rastreen la palabra "Urdangarin" en su web. Enlace: www.casareal.es/robots.txt

El derecho a ser olvidado en Internet también afecta al Boletín Oficial del Estado. El BOE ha sido obligado a usar el robots.txt para que los buscadores no puedan indexar determinados textos legales que afectan a datos personales. Así lo ha establecido la Agencia Española de Protección de Datos al resolver un recurso del propio BOE.

El robots.txt de la SGAE donde podemos ver es lo que quieren que google no indexe...

Los lectores y/o espectadores del libro/film 1984 recordarán cómo el protagonista trabajaba alterando las noticias del pasado. Si Oceanía pasa de ser aliado de Asia Oriental a ser su mortal enemigo, un ejército de burócratas volvían a re-escribir revistas y periódicos, hasta que las hemerotecas reflejaba fielmente lo que el gobierno ha dicho.En la actualidad, Internet se presta a una re-escritura de la historia.[...] ahora el BOE es electrónico. ¿Hasta qué punto estamos en condiciones de reescribir la Historia?

Son conocidos como Web Wanderers, Crawlers, or Spiders (Web vagabundas, rastreadores o arañas). ¿Que son los Robots Web? Son programas que recorren la Web de forma automática. Los motores de búsqueda como Google, Bing y Yahoo utilizan para indexar el contenido de la web. Bien hasta ahora ya tenemos un concepto de que es un Robot web, pues ahora les daré una pequeña guía de cómo utilizar el robots.txt...

A modo de homenaje del estándar Robots.txt (www.robotstxt.org/), un grupo de humanos ha creado Humans.txt, para mostrar de forma rápida y simple quiénes son las personas de carne y hueso que están detrás de una página web. (www.microsiervos.com/archivo/internet/humans-txt.html)

Cuando queremos que un buscador no indexe nuestra página web utilizamos el fichero robots.txt, pero...¿Cómo hacer para que Google Street no viole la privacidad de nuestra calle o nuestro barrio?. En Eppelheim (Alemania) han encontrado un modo.

Analizamos desde el punto del seo la importancia de configurar robots.txt, o las metaetiqueta robots. ¿Qué les permitimos indexar y que no? Aquí estan algunas respuestas

El fichero robots.txt tiene la finalidad de indicarle a un webcrawler (spider / web-spider / crawler o como se conozca) lo que el diseñador del sitio le recomienda a la hora de inspeccionar web. Los Sitemaps son una forma fácil que tienen los webmasters para informar a los motores de búsqueda de las páginas que se pueden rastrear en sus sitios web...

Se ha hablando mucho acerca de cómo Barack Obama ha aprovechado internet para dar a conocer su candidatura y para conseguir movilizar votantes. También se ha comentado en muchos blogs el ambicioso plan tecnológico de Obama para EEUU (puede leerse aquí). Pero una de las cosas que ha llamado más la atención y que pocas personas han advertido: el cambio que ha sufrido el Robots.txt de la página web de la Casablanca, muy en línea con lo que Obama predica. En este artículo se muestra el robots.txt de Bush y se compara con el de Obama.

Uno de los primeros cambios visibles con la llegada de Obama a la Casa Blanca es el que se ha producido en la página oficial www.whitehouse.gov, no solo en su aspecto, sino también en su robots.txt:

Google explica en su blog orientado a webmasters como se debe utilizar el archivo robots.txt para ocultar contenido al Googlebot.

El nuevo fichero, basado en una tecnología denominada ACAP, opera como un DRM fijando permisos para rastrear los ficheros contenidos en el servidor. El ACAP otorgará permisos a los buscadores y robots que indexan los sitios indicando que contenidos pueden rastrearse y por cuanto tiempo. Es como una especie de DRM de contenidos digitales y según los promotores de esta tecnología ofrece unos excelentes resultados como lo ha demostrado la prueba que durante un año se ha venido realizando con el buscador francés Exalead.

Un crawler es un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc.Por ejemplo, Googlebot es el nombre del crawler del buscador Google.

A SEOBook se le ha ido la mano al usar comodines y las consecuencias no se han hecho esperar... Aunque corrigió el error inmediatamente Google ha sido más rápido que él y ha añadido a su lista de resultados suplementarios varias páginas reduciendo mucho su tráfico y haciéndole perder 10.000$.

De nuevo, una mala configuración del archivo robots.txt deja al descubierto TODOS los datos personales de los asistentes al evento ThursdayInternet, desde el teléfono, e-mail hasta la empresa y el cargo... Con lo fácil de configurar que es...