手把手教你让 Claude Code 更好的爬取内容: 抓取任意网站数据
在对话框里敲一句「找三家迈阿密的厨房装修公司」,几秒后拿到公司名、评分和评价。全程不写一行代码。
- 先看效果,这类能力靠描述说不清,看结果最快。
- 为什么不直接让 AI 看网页——这一节解释了专用抓取工具的必要性。
- 从零开始的操作指南,前置准备列清楚,不会卡在环境上。
- 第一步添加技能市场,第二步装插件,第三步就能用,链路很短。
- 进阶还能自己造一个爬虫部署到云端,仍然不写代码。
学完这篇教程,你可以让 Claude Code 直接搜索网页、抓取数据,甚至自己造一个爬虫部署到云端,全程不写一行代码。
先看效果
你在 Claude Code 里敲下一句话,"帮我找三家迈阿密的厨房装修公司"。几秒钟后,它就返回了公司名称、评分、用户评价,甚至知道你关心的就是迈阿密地区。不用打开浏览器,不用和 Google 广告较劲,Claude Code 自己去网上找到了答案。
这个能力的关键就是 Apify:一个专业的互联网数据抓取平台。它已经为 Claude Code 做好了官方插件,装上就能用。
当你的 AI 编程助手拥有了访问互联网的能力,它就变成了一个能够采集信息、分析数据、构建完整工作流的智能体。这是质的飞跃。
认识 Apify:为什么它比"AI 直接看网页"靠谱
Apify 是一个运营了十多年的网络爬虫平台,核心概念叫 Actor(演员):每个 Actor 就是一个独立的爬虫程序,跑在 Apify 的云端服务器上,负责抓取特定网站的数据。
你可能会问:直接让 AI 去看网页不就行了?很多工具确实这么干,把大模型连上网页,让它直接提取信息。但问题在于,大模型是"非确定性"的。同一个网页让它看两次,可能返回不同结果。更糟糕的是,它可能会"幻觉"出网页上根本不存在的数据,一个压根不存在的电话号码,一条从未有人写过的评价。在需要精确数据的场景下,这是灾难性的。
Apify 的做法不同:它用过去 20 年互联网爬虫领域积累下来的确定性工具(HTTP 请求、DOM 解析、CSS 选择器这些经典手段)精准抓取结构化数据,然后再让 AI 来分析这些数据。抓取靠经典工具保证准确,分析靠 AI 保证智能,各司其职。
目前 Apify 为 Claude Code 提供了 12 个官方插件,覆盖通用爬虫、线索生成、电商数据、品牌监控、竞品分析等场景。

从零开始操作指南
前置准备
你需要准备两样东西:
- Apify 账号: 去 apify.com 注册一个(有免费额度)
- API Token: 注册后在 Apify 控制台的 Settings → Integrations 里复制你的 API Token
拿到 Token 后,在你的项目根目录创建一个 .env 文件,写入:
APIFY_TOKEN=你的token粘贴在这里第一步:添加 Apify 技能市场
打开 Claude Code,输入以下命令:
/plugin marketplace add https://github.com/apify/agent-skills这条命令把 Apify 的官方技能市场添加到你的 Claude Code 里。添加完成后,Apify 未来发布的新插件也会自动出现在这个市场中。
第二步:安装你需要的插件
进入刚添加的市场,浏览可用的插件。推荐先装这两个:
通用爬虫插件(能抓任意网站):
/plugin install apify-ultimate-scraper@apify-agent-skills线索生成插件(搜索商家、供应商信息):
/plugin install apify-lead-generation@apify-agent-skills安装完成后,Claude Code 就拥有了上网抓取数据的能力。
第三步:开始使用
直接用自然语言跟 Claude Code 说就行。比如:
帮我搜索三家北京的咖啡店,要有评分和地址抓取这个网页的所有产品价格:https://example.com/products搜索 YouTube 上关于 Python 教程的前 5 个视频Claude Code 会自动调用 Apify 的 Actor 去云端执行抓取,然后把结果返回给你。插件本质上是在"教"Claude Code 如何完成特定任务,你不需要理解技术细节,只需要说人话。
进阶玩法:自己造爬虫,10 分钟搞定
通用插件够用了,但如果你有特定需求,比如要定期抓取某个网站的特定数据,可以自己造一个 Actor。
先安装 Actor 开发插件:
/plugin install apify-actor-development@apify-agent-skills这个插件会教会 Claude Code 如何从零构建一个 Actor。你只需要用自然语言描述你想抓什么,Claude Code 就帮你写好代码、测试、部署到 Apify 云端。整个过程你不需要写一行代码。
实战示例一:YouTube 视频搜索 Actor
在 Claude Code 里输入:
帮我创建一个 Apify Actor,功能是搜索 YouTube 视频,
输入一个关键词,返回前 10 个视频的标题、链接、播放量和发布日期Claude Code 会自动完成以下事情:
- 生成 Actor 的代码(你不用看懂)
- 在本地测试通过
- 部署到 Apify 云端
部署完成后,你随时可以这样使用:
用我部署的 YouTube 搜索 Actor,查找关于"AI 绘画"的视频这里有个关键细节:Actor 在 Apify 的云端运行,不占用你的电脑资源。大多数网站都有反爬机制,如果你直接从自己的电脑去抓取 YouTube,很快就会被封。但 Apify 知道怎么让请求看起来像正常的浏览器访问,你不需要登录 YouTube,不需要提供任何账号凭据,就能稳定地获取数据。
实战示例二:电商比价 Actor
帮我创建一个 Actor,抓取淘宝搜索结果页面,
输入商品关键词,返回前 20 个商品的名称、价格、销量和店铺名同样的流程:描述需求 → Claude Code 自动构建 → 部署到云端 → 随时调用。
更大的想象空间:构建你的数据管道
回到最初那个场景,找装修公司。这件事 Google 也能做。但关键的区别在于,当数据是通过 Claude Code 获取的,你就能把它接入到任何后续流程中去。
比如你可以让 Claude Code 抓取一批供应商信息,然后自动比较价格、筛选评分、生成分析报告,甚至直接起草一封联系邮件。数据采集只是第一步,后面的分析、加工、输出才是真正产生价值的地方。这一切都在一个统一的环境里完成,不需要在浏览器、Excel、邮箱之间来回切换。
这就是为什么说连上互联网能让 AI 助手的能力提升 10 倍:它打通了从信息采集到信息处理的完整链路。
12 个官方插件一览

常见问题
Q:Apify 要花钱吗? 新用户有免费额度,日常轻度使用够用。如果抓取量大,需要付费订阅。
Q:Claude Code 版本有要求吗? 需要 1.0.33 或更高版本。在终端输入 claude --version 检查。
Q:除了 Claude Code,其他 AI 编程工具能用吗? 能。Apify 的 Agent Skills 同时支持 Cursor、Codex、Gemini CLI 等主流 AI 编程工具。
Apify 这 12 个插件基本覆盖了常见的数据抓取场景,装上就能用。最厉害的是那个 Actor 开发插件,等于你拥有了一个"爬虫工厂",想抓什么网站就造什么爬虫,全程自然语言操作。你最想用它来抓取哪个网站的数据?