手把手教你让 Claude Code 更好的爬取内容: 抓取任意网站数据

在对话框里敲一句「找三家迈阿密的厨房装修公司」,几秒后拿到公司名、评分和评价。全程不写一行代码。

作者:小互 AI 小教程03-07 · 6 分钟⚑ 方法教程
AI 实操 · 实操库
一分钟速览
  • 先看效果,这类能力靠描述说不清,看结果最快。
  • 为什么不直接让 AI 看网页——这一节解释了专用抓取工具的必要性。
  • 从零开始的操作指南,前置准备列清楚,不会卡在环境上。
  • 第一步添加技能市场,第二步装插件,第三步就能用,链路很短。
  • 进阶还能自己造一个爬虫部署到云端,仍然不写代码。

学完这篇教程,你可以让 Claude Code 直接搜索网页、抓取数据,甚至自己造一个爬虫部署到云端,全程不写一行代码。

先看效果

你在 Claude Code 里敲下一句话,"帮我找三家迈阿密的厨房装修公司"。几秒钟后,它就返回了公司名称、评分、用户评价,甚至知道你关心的就是迈阿密地区。不用打开浏览器,不用和 Google 广告较劲,Claude Code 自己去网上找到了答案。

这个能力的关键就是 Apify:一个专业的互联网数据抓取平台。它已经为 Claude Code 做好了官方插件,装上就能用。

当你的 AI 编程助手拥有了访问互联网的能力,它就变成了一个能够采集信息、分析数据、构建完整工作流的智能体。这是质的飞跃。

Apify让Claude-Code连接互联网-中文字幕.mp4

认识 Apify:为什么它比"AI 直接看网页"靠谱

Apify 是一个运营了十多年的网络爬虫平台,核心概念叫 Actor(演员):每个 Actor 就是一个独立的爬虫程序,跑在 Apify 的云端服务器上,负责抓取特定网站的数据。

你可能会问:直接让 AI 去看网页不就行了?很多工具确实这么干,把大模型连上网页,让它直接提取信息。但问题在于,大模型是"非确定性"的。同一个网页让它看两次,可能返回不同结果。更糟糕的是,它可能会"幻觉"出网页上根本不存在的数据,一个压根不存在的电话号码,一条从未有人写过的评价。在需要精确数据的场景下,这是灾难性的。

Apify 的做法不同:它用过去 20 年互联网爬虫领域积累下来的确定性工具(HTTP 请求、DOM 解析、CSS 选择器这些经典手段)精准抓取结构化数据,然后再让 AI 来分析这些数据。抓取靠经典工具保证准确,分析靠 AI 保证智能,各司其职。

目前 Apify 为 Claude Code 提供了 12 个官方插件,覆盖通用爬虫、线索生成、电商数据、品牌监控、竞品分析等场景。

从零开始操作指南

前置准备

你需要准备两样东西:

  1. Apify 账号: 去 apify.com 注册一个(有免费额度)
  2. API Token: 注册后在 Apify 控制台的 Settings → Integrations 里复制你的 API Token

拿到 Token 后,在你的项目根目录创建一个 .env 文件,写入:

APIFY_TOKEN=你的token粘贴在这里

第一步:添加 Apify 技能市场

打开 Claude Code,输入以下命令:

/plugin marketplace add https://github.com/apify/agent-skills

这条命令把 Apify 的官方技能市场添加到你的 Claude Code 里。添加完成后,Apify 未来发布的新插件也会自动出现在这个市场中。

第二步:安装你需要的插件

进入刚添加的市场,浏览可用的插件。推荐先装这两个:

通用爬虫插件(能抓任意网站):

/plugin install apify-ultimate-scraper@apify-agent-skills

线索生成插件(搜索商家、供应商信息):

/plugin install apify-lead-generation@apify-agent-skills

安装完成后,Claude Code 就拥有了上网抓取数据的能力。

第三步:开始使用

直接用自然语言跟 Claude Code 说就行。比如:

帮我搜索三家北京的咖啡店,要有评分和地址
抓取这个网页的所有产品价格:https://example.com/products
搜索 YouTube 上关于 Python 教程的前 5 个视频

Claude Code 会自动调用 Apify 的 Actor 去云端执行抓取,然后把结果返回给你。插件本质上是在"教"Claude Code 如何完成特定任务,你不需要理解技术细节,只需要说人话。

进阶玩法:自己造爬虫,10 分钟搞定

通用插件够用了,但如果你有特定需求,比如要定期抓取某个网站的特定数据,可以自己造一个 Actor。

先安装 Actor 开发插件:

/plugin install apify-actor-development@apify-agent-skills

这个插件会教会 Claude Code 如何从零构建一个 Actor。你只需要用自然语言描述你想抓什么,Claude Code 就帮你写好代码、测试、部署到 Apify 云端。整个过程你不需要写一行代码。

实战示例一:YouTube 视频搜索 Actor

在 Claude Code 里输入:

帮我创建一个 Apify Actor,功能是搜索 YouTube 视频,
输入一个关键词,返回前 10 个视频的标题、链接、播放量和发布日期

Claude Code 会自动完成以下事情:

  1. 生成 Actor 的代码(你不用看懂)
  2. 在本地测试通过
  3. 部署到 Apify 云端

部署完成后,你随时可以这样使用:

用我部署的 YouTube 搜索 Actor,查找关于"AI 绘画"的视频

这里有个关键细节:Actor 在 Apify 的云端运行,不占用你的电脑资源。大多数网站都有反爬机制,如果你直接从自己的电脑去抓取 YouTube,很快就会被封。但 Apify 知道怎么让请求看起来像正常的浏览器访问,你不需要登录 YouTube,不需要提供任何账号凭据,就能稳定地获取数据。

实战示例二:电商比价 Actor

帮我创建一个 Actor,抓取淘宝搜索结果页面,
输入商品关键词,返回前 20 个商品的名称、价格、销量和店铺名

同样的流程:描述需求 → Claude Code 自动构建 → 部署到云端 → 随时调用。

更大的想象空间:构建你的数据管道

回到最初那个场景,找装修公司。这件事 Google 也能做。但关键的区别在于,当数据是通过 Claude Code 获取的,你就能把它接入到任何后续流程中去。

比如你可以让 Claude Code 抓取一批供应商信息,然后自动比较价格、筛选评分、生成分析报告,甚至直接起草一封联系邮件。数据采集只是第一步,后面的分析、加工、输出才是真正产生价值的地方。这一切都在一个统一的环境里完成,不需要在浏览器、Excel、邮箱之间来回切换。

这就是为什么说连上互联网能让 AI 助手的能力提升 10 倍:它打通了从信息采集到信息处理的完整链路。

12 个官方插件一览

常见问题

Q:Apify 要花钱吗? 新用户有免费额度,日常轻度使用够用。如果抓取量大,需要付费订阅。

Q:Claude Code 版本有要求吗? 需要 1.0.33 或更高版本。在终端输入 claude --version 检查。

Q:除了 Claude Code,其他 AI 编程工具能用吗? 能。Apify 的 Agent Skills 同时支持 Cursor、Codex、Gemini CLI 等主流 AI 编程工具。

Apify 这 12 个插件基本覆盖了常见的数据抓取场景,装上就能用。最厉害的是那个 Actor 开发插件,等于你拥有了一个"爬虫工厂",想抓什么网站就造什么爬虫,全程自然语言操作。你最想用它来抓取哪个网站的数据?

来源
小互 AI 小教程小互 AI 小教程
↑ 正文结束
✓ 本篇全文免费开放

会员可复制、下载全文 Markdown,还能让你的 AI 订阅和提问。

📮 新解读第一时间进邮箱

读完觉得有用?留个邮箱,每篇新解读发布就送达,随时退订。