Arquivo robots.txt
O arquivo robots.txt nada mais é que um arquivo inserido na raiz do site, com a finalidade de informar os spiders , as páginas do site que não deseja que sejam indexadas. Comandos que utilizam o arquivo robots.txt são chamados de Robots Exclusion Protocol, um acordo universal para que exista um pequeno conjunto de comandos que podem ser usados para indicar …