Claude 爬虫（ClaudeBot）是 Anthropic 公司用来抓取互联网公开网页内容、训练 Claude 大模型的程序。
它的工作方式类似搜索引擎的爬虫，会访问网站并读取页面内容，但这些数据主要用来改进 AI 模型，而不是做搜索索引。官方说爬取时会遵守 robots.txt 协议、尽量降低对网站的影响，但实际行为引发过不少争议。
⚠️ 主要争议
访问量过大：2024 年 4 月曾导致 Linux Mint 论坛卡顿甚至崩溃；同年 7 月更是在 24 小时内对 iFixit 网站发起了超过一百万次访问，抓取约 10TB 数据。
无视禁止条款：iFixit 明确禁止内容用于 AI 训练，但 ClaudeBot 仍强行抓取，CEO 公开批评其“未经许可偷走数据”。
伪装风险：现在也有攻击者把 User-Agent 改成 ClaudeBot 来伪装成正规爬虫，做漏洞扫描，所以看到日志里有这个名字，不一定是 Anthropic 官方行为。
🛠️ 另一层意思
如果你是在编程语境下问“Claude 爬虫”，也可能指用 Claude Code（Anthropic 的编程助手）来写爬虫脚本。这种用法是让 AI 直接根据你的需求生成采集代码、自己跑通调试，属于“AI 辅助开发爬虫”，和上面那个抓数据的官方爬虫是两码事。
