# robots.txt para ourway.travel
# Sitio de producción

User-agent: *
Allow: /
# Frenar rastreo agresivo (honrado por Bing, Yandex y la mayoria de bots; Google se
# controla en Search Console). Evita saturar los workers con el sitemap multilingue.
Crawl-delay: 10

# Sitemap
Sitemap: https://ourway.travel/sitemap.xml

# Bloquear directorios administrativos
Disallow: /api/
Disallow: /src/
# Excepción: las imágenes de los artículos del blog viven bajo /src/ y deben ser
# rastreables (si no, no se indexan en Google Imágenes ni se evalúa bien el render).
Allow: /src/views/blog/media/
Disallow: /vendor/
Disallow: /cache/
Disallow: /logs/

# Bloquear archivos KML (no son contenido HTML indexable)
Disallow: /kml_rutas/

# Paginas tokenizadas privadas (subida de facturas de proveedores) - nunca indexar
Disallow: /factura/
Disallow: /contrato/

# Limitar bots SEO especialmente agresivos
User-agent: AhrefsBot
Crawl-delay: 30

User-agent: SemrushBot
Crawl-delay: 30

User-agent: MJ12bot
Crawl-delay: 30

User-agent: DotBot
Crawl-delay: 30

# Crawlers de IA: bienvenidos (canal MCP propio en https://mcp.ourway.travel/mcp,
# guia para agentes en /llms.txt y docs en /ai). Sin crawl-delay.
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Robot de revisión de anuncios de ChatGPT: valida las páginas de destino de las campañas.
User-agent: OAI-AdsBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /