收录主流 AI 厂商的爬虫 User-agent 档案：所属厂商、用途（模型训练 / AI搜索 / 用户代理）、是否遵守 robots.txt 与官方说明入口。想放行或屏蔽某个爬虫时，先到这里确认它的真实用途，再用 AI爬虫robots规则生成器 生成规则。
| User-agent | 厂商 | 用途 | 说明 |
|---|
用途口径：模型训练=抓取内容用于训练大模型；AI搜索=用于生成式搜索答案（屏蔽将损失AI搜索曝光）；用户代理=用户主动指令下的实时抓取（屏蔽会影响AI浏览功能）。信息以各厂商官方文档为准。
收录自各AI厂商官方文档公布的User-agent清单：OpenAI系（GPTBot/OAI-SearchBot/ChatGPT-User）、Anthropic（ClaudeBot/Claude-User）、Perplexity、Google-Extended、Bytespider等20余款，标注厂商、用途与官方说明入口。
UA可以伪造。严谨做法是反向验证：官方文档公布的IP段核对，或对Perplexity等提供验证机制的厂商按其说明操作。仅凭UA放行或屏蔽只适合粗粒度策略。
看内容策略：希望被AI搜索引用就放行搜索类爬虫；担心内容被无偿训练可屏蔽训练类爬虫。用AI爬虫robots规则生成器按选择生成规则，别手写以免语法错误。