# --------------------------------------------------------
# robots.txt for deglon.ai   •   Last updated: 2025-07-31
# Purpose: let reputable Gen-AI crawlers index & train on
#          public content while discouraging overload.
# --------------------------------------------------------

############################
# 1. Global defaults
############################
User-agent: *                  # all other bots (search, SEO tools, etc.)
Disallow:                       # nothing blocked
Crawl-delay: 5                 # be courteous, 5 s between fetches

############################
# 2. OpenAI family
############################
User-agent: GPTBot
Allow: /
Crawl-delay: 1

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

############################
# 3. Anthropic family  (Claude)
############################
User-agent: ClaudeBot
Allow: /
Crawl-delay: 1

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

############################
# 4. Google generative AI
############################
User-agent: Google-Extended
Allow: /

############################
# 5. Other LLM/search crawlers
############################
User-agent: PerplexityBot
Allow: /

User-agent: YouBot                # You.com
Allow: /

User-agent: DuckDuckBot           # DuckDuckGo’s AI enrichment
Allow: /

############################
# 6. House-keeping
############################
Sitemap: https://deglon.ai/sitemap.xml
Llm-api: https://deglon.ai/static/llms.txt