Verificador de Robots.txt

Analise e valide o arquivo robots.txt com regras, diretivas e sitemaps.