SidereoAuditBot
Actualizado el
Es el rastreador de Sidéreo. Revisa el SEO de la web de una marca solo cuando esa marca lo ha pedido: la auditoría SEO va incluida con su plaza en el mapa. Pide pocas páginas, despacio, y respeta robots.txt.
Qué hace
Lee la página de inicio y unas pocas páginas más (un producto, una categoría, un artículo, el contacto), comprueba robots.txt, el sitemap y una muestra de sus URLs, y mide la velocidad con PageSpeed Insights de Google. Con eso prepara un informe para la propia marca. No guarda copias de las páginas, no rellena formularios, no inicia sesión y no compra nada.
Cómo se identifica
Con este agente de usuario: SidereoAuditBot/1.0 (+https://sidereo.es/bot). Cuando necesita ver la página como un móvil (después de ejecutar JavaScript), lo añade al final del agente de un navegador móvil.
A qué ritmo
- Como mucho 2 peticiones a la vez y una por segundo a cada dominio.
- Cada petición se corta a los 10 segundos y a los 3 MB.
- Una auditoría por dominio cada 30 días, salvo que la marca la pida de nuevo.
robots.txt
Respeta robots.txt en todo salvo en la página de inicio, que se revisa siempre porque es lo que la marca ha pedido. Para que no rastree el resto de tu web:
User-agent: SidereoAuditBot
Disallow: /Contacto
Si ves algo raro o quieres que no visite tu web, escríbenos a hola@sidereo.es y lo miramos.