本期看点

• 机器人流量（bot traffic） —— 不是真人坐在浏览器前点出来的请求，而是爬虫、AI 抓取程序、自动化脚本发出的。搜索引擎索引、价格监控、AI 训练抓取、agent 替你办事，都算。
• agentic 流量 —— 机器人流量里增长最猛的一支：你让 AI agent（能自己上网、点击、下单的智能体）替你完成任务，它代替你访问网页产生的流量。一个人办一件事可能开五个网页，一个 agent 办同样的事会访问上千个。
• AEO（Answer Engine Optimization，答案引擎优化） —— 过去做 SEO 是把内容优化给搜索引擎排名；现在要把内容优化给 AI 和 agent 直接读取、直接引用，这套新做法被叫作 AEO 或 agent 可读性优化。
• 机器可读（machine-readable） —— 内容以结构化、可被程序直接解析的格式（如 JSON、API、带语义标注的页面）提供，而不是只排版给人眼看的图文。

一、57.5% 这个数字，比"机器人很多"更要命

机器人占网页流量的多数，并不是今年才有的话题。过去十几年，机器人流量长期在三到五成之间波动，安全行业一直在统计"坏机器人"占比。真正的转折点是这次——它第一次稳定地越过了 50%，并且驱动力换了人。

Cloudflare CEO Matthew Prince 自己都没料到来得这么快。他今年 3 月在 SXSW 大会上预测机器人流量会在 2027 年超过人类，这次他在 X 上承认：

"Welp, that happened faster than I predicted. Thought it would be end of 2027, then early 2027, but agentic traffic growing so fast that bots have now passed human traffic online for the first time in the Internet's history."（好吧，这比我预测的来得快。本以为是 2027 年底，后来改口 2027 年初，但 agentic 流量涨得太猛，机器人现在已经在互联网历史上第一次超过了人类在线流量。）

把"提前一年多"和"agentic 流量"这两个词放在一起，结论就出来了：让数字翻过去的，不是老一代的搜索引擎爬虫，是 AI agent。

这两类机器人的性质完全不同。搜索引擎爬虫是"抓一遍、建个索引、然后把人导回网站"——它最终还是为人服务，网站靠它换来真人访客和广告收入。AI agent 不一样，它替人把事直接办了：你让它比价、订票、查资料、下单，它访问完网页就把答案给你，人不再点进原网站。爬虫是中介，agent 是替身。中介还会把人带回来，替身把人留在了对话框里。

这就解释了为什么是"提前"发生：替身模式有一个恐怖的放大系数。

二、放大系数：一个人五个网页，一个 agent 上千个

Prince 反复强调的，是 agent 带来的流量乘数。一个人买东西，可能逛五个网站做比较；一个 agent 替他完成同一件事，可能访问成百上千个页面去抓信息、做比对。把这个乘数乘上"几百万人开始把任务外包给 AI"，整张网的流量构成就被改写了。

这不是一笔可以等比例缩小回去的账。人的注意力有上限——一天就那么多小时，能看的网页数量是封顶的。agent 没有这个上限，它的访问量只受算力和任务量约束，而这两样都在指数级增长。所以一旦 agent 成为主流的上网方式，机器人对人的比例只会继续拉大，不会回头。

地区差异更说明问题。同一份数据里，美国本土的机器人流量占比高达 71.5%——比全球平均高出十几个百分点。美国是 AI 应用渗透最深、agent 工具用得最早的市场，它的今天大概率是其他市场的明天。机器人占七成的网络长什么样，美国已经在演示了。

对网站方来说，这个乘数还是一笔实打实的成本。每一次 agent 访问都要消耗服务器、带宽、数据库。过去这些成本由真人访问摊销——人来了会看广告、会下单、会留存，成本换得来收入。现在大量请求来自 agent：它抓走内容，却不看广告、不一定转化、甚至直接把你的内容喂给别的 AI。流量涨了，账单涨了，收入不一定跟着涨。这是 Cloudflare 这一年密集推出"按抓取付费""AI 抓取拦截"等工具的根本原因——发布者开始想给机器人流量单独立一道收费闸门。

三、流量主体换人，内容的"读者"也换人

把视角从"谁在访问"挪到"访问了拿去干嘛"，翻转更彻底。

Cloudflare Radar 在 5 月新上线了按响应内容类型切分流量的视图。按这套口径看，整张网传输的内容里，越来越大的一块不再是给人眼看的 HTML 页面，而是机器之间通信用的结构化数据——JSON、XML 这类 API 返回的内容。发出这条推文的作者据此读出的结论是：JSON 这类机器通信内容已经成了流量的最大头，纯 HTML 网页反而退居其次。（具体百分比随时间和口径浮动，Cloudflare Radar 的 traffic 页可实时查；这里要紧的不是某个小数点，而是方向。）

方向是清楚的：网络的主体正从"人浏览排版好的网页"转向"机器之间交换结构化数据"。HTML 是为人眼设计的——它管的是字体、间距、配色、版式，是给人看的皮。JSON 是为程序设计的——它管的是字段、键值、结构，是给机器读的骨。当流量主体从人换成机器，被传输的内容也从"皮"滑向"骨"。

这件事顺下来，结论很硬：内容的读者正在从人变成机器。过去你写一篇文章、做一个页面，唯一的读者是人，所以你优化排版、优化标题、优化阅读体验。现在你的内容有相当一部分是被 AI 和 agent 读走的——它们不在乎你的配色和动效，它们要的是能被准确解析、准确引用的事实和结构。一个对人很友好、对机器很难解析的页面，在 agent 时代等于把自己藏了起来。

四、SEO 让位 AEO：内容要同时服务两类读者

这直接动摇了内容分发的底层逻辑。

过去二十年，公开内容的曝光靠 SEO（搜索引擎优化）：把内容做得让 Google 爱排名，人通过搜索点进来。这套逻辑的前提是"人会点链接进网站"。但 agent 模式下，人不点链接了——他问 AI，AI 给答案，答案里可能提一句来源，也可能不提。流量的入口从"搜索结果页的蓝色链接"变成了"AI 回答里被引用的那句话"。

于是 SEO 正在让位给 AEO（答案引擎优化）：目标不再是排到搜索第一页，而是让你的内容成为 AI 生成答案时所引用、所采信的那一份。这要求完全不同的功夫——事实要准确到经得起 AI 交叉核对，结构要清晰到 AI 能精准抽取，关键信息最好以机器易读的方式标注出来，而不是埋在一张图片或一段华丽排版里。

但这不意味着抛弃人。人仍然是付费、是转化、是品牌认同的来源，agent 至今还不会替你建立信任。所以真正的要求是：内容和产品要同时服务两类读者——给人的那一面要好看、可读、能打动；给机器的那一面要结构化、可解析、可引用。一个产品页，既得让人看了想买，也得让 agent 读了能准确告诉它的主人"这个东西符合你的要求"。把这两件事拆成两层来做，是 agent 时代内容生产的新基本功。

对从业者意味着什么

对内容方与媒体：先认清你的流量账已经变了——一部分访问来自不看广告、不转化的机器人，这会同时拉高成本、稀释收入。该做两件事：一是给内容补上机器可读层（结构化数据、清晰的事实陈述、明确的来源标注），让 agent 引用你时引得准、愿意引；二是认真评估 Cloudflare 这类"按抓取付费/拦截 AI 抓取"的工具，把哪些机器人放进来、哪些挡在外面、哪些收费，当成一项要主动管理的策略，而不是默认全开。

对产品与开发者：把"agent 是不是你的用户"这个问题正式提上日程。如果你的产品未来会被 agent 调用、被 agent 比价、被 agent 集成，那它需要一套机器友好的入口——干净的 API、稳定的结构化输出、清楚的能力描述。只为人眼设计界面、把逻辑全藏在前端渲染里的产品，在 agent 面前是一个打不开的黑盒。

对企业与营销：把预算从"在搜索结果里买排名"逐步挪一部分到"让 AI 答案采信我"。这意味着内容要经得起 AI 的事实核查，品牌信息要以结构化、可验证的方式存在于公开网络上。在一个人是少数派的网络里，争夺曝光的战场，正从人的眼睛转移到机器的解析器。

引用

1. 主信源 · 小互（@xiaohu）推文：机器人流量首次在互联网历史上超过人类在线流量（2026-06-04）：https://x.com/xiaohu/status/2062367357868355622
2. Cloudflare Radar · Bot Traffic Worldwide（实时统计页，57.5% 机器人 / 42.5% 人类）：https://radar.cloudflare.com/bots
3. Tom's Hardware：《机器人现已超过人类在线流量，Cloudflare CEO 感叹——本以为 agentic 流量明年才会盖过真人》（含 Matthew Prince 原话、美国 71.5% 数据，2026-06-04）：https://www.tomshardware.com/tech-industry/artificial-intelligence/bots-have-now-passed-human-traffic-online-cloudflare-boss-laments-says-agentic-traffic-wasnt-expected-to-eclipse-real-people-until-next-year
4. Cloudflare 开发者变更日志：《Radar 新增内容类型分布与 API 流量占比视图》（JSON/XML 即 API 机器通信流量，2026-05-20）：https://developers.cloudflare.com/changelog/post/2026-05-20-radar-content-type-and-api-traffic/