研究简报

日期

AI 时代的"传统路径"复盘： 爬虫、网站、搜索、模板为什么仍然是地基

一句话总论点

AI 没有让传统路径过时，而是把它们压到了产品的地基层：许多依赖公开网页的产品，数据仍靠爬虫、索引与授权，分发仍大量依赖搜索引擎，交付常借助模板与设计系统。真正变化的是价值回收方式——曝光不再等于流量，谁能以可持续成本把合法、可信的数据变成用户愿意付费、且价值能留在自己手里的结果，谁才是赢家。

核心数字（KPI 卡）

训练数据

60% / ~82%

GPT-3 训练混合中 Common Crawl 的采样占比 / 原始 token 占比

搜索引用

87%

SearchGPT 原型期引用与 Bing 前排结果的重合比例（Seer Interactive 样本研究，不代表当前产品）

传统链接点击

8% vs 15%

Google 搜索访问中点击传统结果的比例：出现 AI 摘要时 vs 未出现时（Pew，900 名美国成人 2025 年 3 月浏览数据）

抓取 / 回流

~1,600:1

OpenAI 抓取页面数与带回访问数之比（Cloudflare，2025 年 6 月；Google 约 9.4:1）

建站生态

41.2%

WordPress 占全部网站比例（W3Techs 动态统计，取数时数值，会随时间变化）

AI 模板味

22% / 32%

1,590 个 Show HN 落地页中重度 / 轻度"AI 模板味"比例（作者主观分类，非行业代表样本）

有无 AI 摘要：点击率对比

线性刻度 · Google 搜索访问中的点击比例

来源：Pew Research Center，2025 年 3 月美国样本。

前两项比较传统链接点击；第三项为摘要内链接点击，不是第三组传统链接数据。

抓取 / 回流比：Google 与 OpenAI

对数刻度 · 抓取页面数 / 带回访问数

来源：Cloudflare，2025 年 6 月。

横轴为以 10 为底的对数刻度，范围 1:1–10,000:1；等距刻度表示数量级变化，条长不是线性倍数。

注意：Pew 是美国观察性数据，不能直接外推中国；Cloudflare 比值不等于收入损失率。

六个判断逐条核对

每条：原直觉 → 判定 → 证据 → 修正后的说法

原直觉

判断 1：AI 产品本质是"爬虫 + 整合"

判定：部分成立（数据层、检索层成立；价值层不成立）

证据：

  • GPT-3 训练数据 60% 采样自 Common Crawl（原始 token 约 82%）；Mozilla 统计 2019–2023 年 47 个 LLM 中至少 64% 用了 Common Crawl。
  • 运行时检索大量借用现成搜索索引：Seer 对 SearchGPT 原型的样本研究发现，其引用与 Bing 前排结果约 87% 重合；OpenAI 被报道曾经通过 SerpApi 获取 Google 结果；Claude 网页搜索被多方证据指向 Brave。
  • 但数据不只靠爬：Reddit 与 Google 年约 6,000 万美元授权；News Corp 与 OpenAI 5 年超 2.5 亿美元。

原直觉

判断 2：受隐私政策限制，AI 只能抓网页，所以网站优先的公司更受欢迎

判定：方向对，但要改成"可授权、可被机器访问优先"

证据：

  • 封闭生态确实挡住 AI：微信公众号内容曾被腾讯元宝作为"独家"差异化（2025）；移动 App 对外部 AI 基本是围墙花园，需 App Intents / MCP 主动开放。
  • 但被抓取 ≠ 被访问：Pew 研究显示，出现 AI 摘要的 Google 搜索访问中，点击传统结果的比例从 15% 降到 8%，点击摘要内链接的仅 1%；Cloudflare 测得 OpenAI 抓取/回流约 1,600:1。
  • 网站方在反击：前 100 大网站约 26% 屏蔽 GPTBot，约一半新闻站屏蔽；Cloudflare 2025 年 7 月默认屏蔽 AI 爬虫并推出按次付费抓取；Perplexity 被指伪装浏览器绕过 robots.txt。
  • 屏蔽的主因多是商业利益，而非仅隐私法规；并且"允许搜索"和"允许训练"可以分开设置（屏蔽 GPTBot 仍可放行 OAI-SearchBot）。

原直觉

判断 3：GEO 是 SEO 在 AI 时代的延续

判定：成立，但 GEO 的目标更多

证据：

  • Princeton 等 GEO 论文（KDD 2024）：加统计数据、引用、来源，在其基准上最高提升约 40% 可见度。
  • 后续研究（C-SEO Bench 2025、FeatGEO 2026、2026 综述）显示单点技巧在其他条件下不稳定，内容相关性最稳。
  • llms.txt：SE Ranking 约 30 万域名研究未发现对 AI 引用有可测效果；Google 表示搜索系统不读取 llms.txt。
  • 对于依赖 Bing / Brave / Google 等传统索引的 AI 检索入口，"先被收录"是前提。

原直觉

判断 4：AI 很聪明，但很多能力回到了传统的爬虫、网页、搜索引擎

判定：部分成立

说明：

复用旧基础设施 ≠ 能力倒退。真正的新东西是价值迁移——从"提供信息"到"执行、验证、交付结果"。机会在于把传统基础设施和新的执行层组合，而不是仅把旧东西换个包装。

原直觉

判断 5：为什么不用成熟模板（WordPress 等）再用 AI 优化

判定：成立，而且头部公司已经在这么做；但"模板有用"不等于"模板一定最优"

证据：

  • WordPress 仍占全部网站约 41%（W3Techs）；Wix、Squarespace 都走"模板 + AI"，WordPress 推出 Telex 用 AI 生成单个区块而不是整站。Zapier 评测：最好的 AI 建站工具首先是建站工具。
  • AI 从零生成其实也在用"隐形模板"：v0 / Lovable 默认 shadcn/ui + Tailwind，可能加剧同质化；一项对 1,590 个 Show HN 落地页的主观分类中，22% 重度、32% 轻度"AI 味"。
  • 图片视频同理：Canva 同时拥有大规模用户与模板库（第三方统计汇编称 2025 年底约 2.65 亿月活、3,100 万付费用户，增长原因不能仅归于模板）；CapCut 有模板创作者分成。

原直觉

判断 6：这些传统路径好用，但被大多数人忽视了

判定：尚未证实（是假设，不是结论）

说明：

没有采用率调查能证明"大多数人忽视"。已有证据显示头部公司（Wix、Squarespace、Automattic、Canva）正把模板与 AI 融合；更可能被忽视的是独立开发者和新手的"从零生成"惯性。SaaS 的"工具 → 模板 → 市场"路径可以借鉴，但工具不必长成市场，市场也不会自动产生网络效应。

补充维度（初稿遗漏，经讨论补上）

权利边界：
robots.txt 不等于授权；采集、训练、展示、转售是四种不同权限，需分别核查；公开的个人信息仍受个人信息保护法约束。
中国差异：
主要内容在微信、抖音、小红书等封闭平台；AI 生成内容需按《人工智能生成合成内容标识办法》（自 2025 年 9 月 1 日起施行）标识。
经营成本：
数据过期、溯源、纠错、人工复核、客服成本；按订阅、按量、按结果收费的差异。
平台风险：
大平台内置同类功能、数据断供、模型换代后产品是否还有价值。

高曝光零收益不如低曝光高成交。

四个分析框架

1. 分层价值链

数据获取 → 推理执行 → 结果交付，找用户真正付费的那一层。

2. 价值回收漏斗

可访问 → 被召回 → 被引用 → 成交 → 留存，逐层计量，别拿曝光代替收入。

3. 开放 × 稀缺矩阵

公开可验证的部分用来获客，合法拥有且难替代的数据用来收费。

4. 单次成功任务经济账

收入 − 采集 − 推理 − 重试 − 复核 − 维护 − 获客，决定能否规模化。

传统路径 vs AI 原生路径对照表

可横向滑动查看完整对照表。

传统路径 vs AI 原生路径对照表
维度 传统路径 AI 原生路径 建议组合
分发 SEO、搜索引擎、目录站 AI 答案引用（GEO） 先被收录，再优化引用与归因
建站 WordPress / Wix 模板 从零生成（v0、Lovable） 模板或设计系统打底 + AI 定制
视觉内容 Canva / 剪映模板 文生图、文生视频 爆款结构模板 + AI 变体

独立开发者：

  • 先访谈 10 名目标用户，人工交付并争取 3 个付费试点，再写代码。
  • 有复购再扩模板库，不先搭市场。

内容创作者：

  • 选 20 个目标问题，对应页面分组优化并保留对照组，连续 4 周在多个 AI 引擎重复测引用，同时记录线索与成交。
  • 确保页面被 Bing / Google / Brave 收录；发布原创数据与案例；视频复用叙事结构和已授权素材，不照搬爆款。

建站通用：

  • 让"模板版"和"AI 生成版"完成同一任务，比较上线与维护总工时、移动端表现、无障碍和关键流程，再选方案。

方法与迭代记录

注：ChatGPT 与 Codex 的意见不作为来源证据，数据以下列来源为准。

来源