Los archivos Robots.txt son archivos que restringen el acceso de los robots de motores de búsqueda que rastrean las webs a ciertas zonas de un sitio. Cuando un robot de un buscador llega a un sitio, y detecta un archivo Robots.txt, mira en que directorios no tiene acceso y esas direcciones son ignoradas.
Para la creación de este tipo de archivos, nos podemos encontrar gran cantidad de información, o incluso software que nos ayuda a la creación de los archivos, pero nada mejor como la información que nos pueda proporcionar Google, que para ello es el buscador más utilizad en la actualidad.
Pues bien, en el blog de Google, se acaba de anunciar información sobre como actúa cuando sus robots encuentran uno de estos archivos con contradicciones, a cómo evitar indexar ciertos formatos y sobre todo, y muy útil, información de como crear correctamente estos archivos.
En esta dirección que os dejamos, podréis ver información sobre las especificaciones, meta-tags y técnicas que todo administrador web debe conocer para controlar la visibilidad del contenido que publica
No dejéis de visitar estas url para poder crear los archivos de forma correcta.
Vía: wwwhatsnew
Para la creación de este tipo de archivos, nos podemos encontrar gran cantidad de información, o incluso software que nos ayuda a la creación de los archivos, pero nada mejor como la información que nos pueda proporcionar Google, que para ello es el buscador más utilizad en la actualidad.
Pues bien, en el blog de Google, se acaba de anunciar información sobre como actúa cuando sus robots encuentran uno de estos archivos con contradicciones, a cómo evitar indexar ciertos formatos y sobre todo, y muy útil, información de como crear correctamente estos archivos.
En esta dirección que os dejamos, podréis ver información sobre las especificaciones, meta-tags y técnicas que todo administrador web debe conocer para controlar la visibilidad del contenido que publica
No dejéis de visitar estas url para poder crear los archivos de forma correcta.
Vía: wwwhatsnew