Apify 是什么?9 万+ Actors 的网页数据平台,挂上 MCP 让 Agent 自己上网取数(基础篇)

Apify 是什么?9 万+ Actors 的网页数据平台,挂上 MCP 让 Agent 自己上网取数(基础篇)

导语

横向 Agent 平台系列写到「网页数据」这一挂,Apify 绕不过去。2015 年它从 YC Fellowship 起步时叫 Apifier,Hacker News 发布帖换来 2,200 次访问、101 个赞和 120 个注册用户;2016 年团队搬回布拉格,之后十年累计只融了约 330 万欧元——2016 到 2019 年一共约 50 万美元,2024 年才补了一轮 280 万欧。它走的是少见的「自己赚钱自己花」路线:2022 年前后裁过一轮人、改过运转方式,2023 年做出 670 万欧元营收、接近 100 万利润,Q4 同比还涨了 80%。公开报道的客户名单里站着西门子、微软、T-Mobile、埃森哲、Intercom。今天它把自己重讲成「给 AI builder 的网页数据平台」:Store 挂出 9 万+ 个 Actor(公开 API 实测 90,722 个),开源爬虫框架 crawlee 26.2K 星、MCP 服务器仓库 11.8K 星。一个闷声赚钱的爬虫公司,在 Agent 时代突然成了刚需。

项目介绍:一个 Actor 市场,三种接入口子

Apify 的核心单位叫 Actor:跑在云上的 serverless 程序,收一份 JSON 输入,去抓网页、调接口、做处理,最后吐出结构化数据。官方特意强调「结构化」这三个字:给 Agent 喂带字段的 JSON,比喂一坨 Markdown 更准、更省 token。Store 里的 9 万个 Actor 大多由社区开发者搭建和定价,Apify 只管基建、计费和分发——一个典型的双边市场。

接入有三条路:

  1. MCP:把 https://mcp.apify.com 挂进 Claude Code、Cursor、VS Code 或 Claude 桌面端,OAuth 登录即用。Agent 自己用 search-actors 找工具、call-actor 发起运行、get-dataset-items 取结果,全程不用你写代码。
  2. API / 客户端:REST v2、apify-client(JS / Python)、CLI,适合无头任务与后端集成。
  3. AGI(Agent General Interface):给「没有人类坐班、只有钱包」的自主 Agent 用——x402 / MPP 协议买预付费、带消费上限的 token,不注册账号也能付钱跑 Actor。这套 Agent 自付机制,在同类平台里走得最靠前。

底座是三件套:Proxy 代理池(住宅 / 机房 / SERP 代理、反爬解锁器)、Dataset 存储(JSON、CSV、Excel 随便导)、调度器。集成面铺得很开:LangGraph、CrewAI(5.9 万星那篇写过)、Mastra、LlamaIndex、Haystack、OpenAI Agents SDK 都有官方模板;自家开源里 crawlee(Node 版 2.6 万星 + Python 版 9.6K 星)本身就是爬虫圈的基础设施。

Apify 平台架构图:Agent 客户端经 MCP 检索并运行 Actor,经代理池从目标网站取数写回 Dataset 再读回
Agent 经 MCP 检索并运行 Actor,代理池出网抓数,结果落进 Dataset 再被读回(据 Apify 官方文档整理)

上手:免费额度 + 一个 MCP 就开跑

注册不要信用卡,免费档每月送 $5 额度,跑完就停、不自动扣费。然后两条路:

MCP 路线(推荐):在 console 建个 token,或者让客户端直接走 OAuth,把 https://mcp.apify.com 加进 Claude Code / Cursor,再丢一句「用 Google Maps Scraper 抓布拉格评分最高的十家咖啡店,输出 CSV」。它会自己搜 Actor、发起运行、把数据集读回来。

REST 路线:POST /v2/acts/{actor-id}/run-sync-get-dataset-items,传 JSON 输入直接拿数据,适合塞进自己的后端或流水线。

价格四档:Free $5 / Starter $19 / Scale $199 / Business $999(年付约九折);算力按 CU 计(1 CU = 1GB 内存跑 1 小时,$0.2 起),代理流量另算。跑付费 Actor 前先读它的定价页,再用 maxTotalChargeUsd 给单次运行封顶——这条「先报价、后封顶」官方已经写进文档当规矩。

实话

一、它卖运力,不卖模型。熬了十年的爬虫公司,赶上 Agent 时代买家从程序员换成了 Agent 本身:MCP 让它变成 Claude、Cursor 的常用数据源之一(十个平台的 MCP 横向实测我们写过一篇),AGI 支付又替「没人签名的 Agent」把付款问题解决了。但本质上它还是数据运力 + 双边市场,没有大模型故事,9 万个 Actor 质量参差,挑跑量大的用。

二、轻量路线对照着看。只想在本地给 Agent 补网页能力,先看 Scrapling;浏览器全自动那一挂有 browser-use。Apify 是重资产云服务:贵,但免运维、反爬兜底、能规模化。

三、成本要盯。$5 免费额度只够试水,爬取量 + 代理流量 + 付费 Actor 三笔叠加烧起来很快;好消息是闸门是现成的,先报价再封顶就行。

四、合规自己扛。抓公开数据在很多辖区是合法生意,但绕反爬、碰个人数据、超 TOS 的风险全归你——平台提供能力,不提供豁免。

一句话总结:Apify 押的是「Agent 是新的 API 消费者」。当 Agent 开始自己上网找数据、自己付钱,那个「把网页变成结构化数据」的老生意就成了新基建。想验证的话,免费额度挂上 MCP,让 Claude 或者 Cursor 自己抓一次数据,比看十篇介绍都快。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注