robots.txt
Permite indicar el comportamiento de los robots de búsqueda en el site. Es un archivo de texto simple y se coloca en el root de la carpeta que corresponde al dominio.
Por ejemplo:
User-agent: * Disallow: /FIMA-Convocatoria-Andes.pdf
Indica a los robots que no tomen en cuenta el archivo mencionado.