Sobre las peticiones de nuestro comprobador
Cuando alguien usa nuestro Comprobador de sitemaps o el Comprobador SEO gratis en un sitio, las peticiones salen de nuestros propios servidores con este agente de usuario:
WebLandscapesCheck/1.0 (+https://weblandscapes.com/tools/bot/)
Qué consulta una comprobación
- La página de inicio (para ver qué dirección prefiere el sitio) y robots.txt.
- Hasta 12 archivos de sitemap, los primeros 128 KB de cada uno.
- Hasta 50 de las páginas que lista el sitemap, como mucho 6 a la vez, leyendo los primeros 32 KB de cada una.
- Para el comprobador SEO: la página pedida (los primeros 192 KB), sus versiones http:// y www, y hasta 30 de sus enlaces, casi siempre con peticiones HEAD.
Entre todos los usuarios, el mismo sitio se puede comprobar como mucho 30 veces por hora, y los resultados no se usan para nada más que el informe que pidió esa persona.
Cómo excluirte
Para que nuestro comprobador no entre en algunas páginas, añade un grupo para él en robots.txt; nos saltamos todas las páginas que bloquee:
User-agent: WebLandscapesCheck
Disallow: /
robots.txt y los propios archivos de sitemap se siguen leyendo, porque es de lo que informa la comprobación. Para quedar fuera del todo, escribe a contact@weblandscapes.com desde una dirección del dominio y lo añadimos a nuestra lista de exclusión.