# robots.txt — https://www.subtitleedit.com.cn/
# 站点为单语言（zh-CN）静态站，全站可抓取；404 页自身带 noindex，此处再屏蔽一次以节省抓取配额。
# 更新日期：2026-11-10

User-agent: *
Allow: /
Disallow: /404.html

# ---------- 中文搜索引擎 ----------
User-agent: Baiduspider
Allow: /
Disallow: /404.html

User-agent: Baiduspider-render
Allow: /

User-agent: Sogou web spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: YisouSpider
Allow: /

# ---------- 国际搜索引擎 ----------
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: PetalBot
Allow: /

# ---------- AI 检索与训练爬虫（如需禁止训练，可将 Allow 改为 Disallow）----------
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Bytespider
Allow: /

# ---------- 站点地图 ----------
Sitemap: https://www.subtitleedit.com.cn/sitemap.xml