miércoles, 9 de abril de 2014

robots.txt

robots.txt

Permite indicar el comportamiento de los robots de búsqueda en el site. Es un archivo de texto simple y se coloca en el root de la carpeta que corresponde al dominio.

Por ejemplo:

User-agent: *
Disallow: /FIMA-Convocatoria-Andes.pdf

Indica a los robots que no tomen en cuenta el archivo mencionado.