AI 把人类工具用在别处:现象是真的,「人想不到」不是

AI 确实在把 HTML、JavaScript、Python 这些工具用到它们原本不负责的事情上。但人早就想到过这些用法;从本页案例看,AI 降低了动手门槛;成本是否普遍下降还没有对照数据(作者判断)。真正值得深挖的,是「能写成文本、又有自动检查器」的工具。

现象成立HTML 做汇报、HTML 渲染成视频、用 Python 画辅助线来推理、用 Lean 检查数学证明,2023–2026 年都有可查的例子。
「人想不到」不成立reveal.js 在 2011 年就用 HTML 做演示;Remotion 作者在 2021 年说过「一直梦想用代码做视频」。
「跳过人类工具」只有局部证据AI 已在汇编和电路描述层找到更好的写法;本页的两个生产案例都经过人能复核的验证才被采用。「直接写二进制」目前只是预测。

核查日期:2026-10-13。页面里「作者判断」指本页的推断,不是测量结果。来源编号见页尾。

原观点逐条核对

左边是原观点的五个主张,右边是核对结论和依据。

主张一:原本解决 A 问题的工具,被 AI 拿去解决 B 问题,而且做得更好。
部分成立

「拿去解决 B」成立,例子见下面的卡片。「做得更好」目前没有质量、返工和总耗时的对照研究,只能说部分流程降低了动手门槛。

主张二:人打死也想不到用 JS 做视频、用 HTML 做汇报,这是 AI 自己想出来的。
不成立
主张三:AI 只是在人类工具箱里重新排列组合,找最优解。
部分成立

使用既有工具:成立。找到比已知记录更好的结果:有证据。保证找到最优解:没有证据。FunSearch 用普通 Python 程序找到了比已知记录更大的 cap set(n=8 时 512,旧记录 496)[S15];AlphaEvolve 找到 4×4 复数矩阵乘法只需 48 次标量乘法的方法 [S17]。这些结果优于此前记录,但没有证明是全局最优。旧工具不等于没有新发现。

主张四:未来 AI 不需要编程语言,会直接写二进制、直接在硅片上运算。
预测,有局部证据

AI 已经在汇编层(AlphaDev)[S16] 和电路描述层(AlphaEvolve 的 Verilog 改写)[S17] 工作,但这仍是换了一层人类语言。AlphaDev 的结果是翻译回 C++ 才并入 LLVM 的。Musk 在 2026 年 2 月预测「今年年底 AI 会直接生成二进制」[S20],截至本页没有看到实现证据。

主张五:到那时,人类可能看不懂 AI 做了什么、怎么做的。
风险真实,不是必然

在隐空间推理的模型(Coconut)已经出现,它的中间推理不是文字 [S21]。41 位来自多家实验室的作者在 2025 年 7 月联名指出,可读的思维链是「新的、脆弱的」监控机会,开发决策会影响它能不能保住 [S22]。所以「看得懂」取决于开发者怎么选。

时间线:人先想到,AI 让它更容易上手

按年份排列。颜色区分事件类型。

人做的代码化工具AI 用旧工具做新事AI 往底层或绕过工具误传或预测

2011

人reveal.js 发布:用 HTML 做演示文稿 [S1]

约 2015

人3Blue1Brown 作者开始写 Manim,用 Python 做数学动画 [S2]

2017

2021

人Remotion 发布:用 React 写视频 [S3]

2023

AIVoyager 在 Minecraft 里把 JS 代码当作技能库 [S11]
底层AlphaDev 在汇编层找到更短的排序例程 [S16]
AIFunSearch 用「程序加评估器」找到新的数学构造 [S15]

2024

AIVisual Sketchpad:模型写 Matplotlib 代码画辅助线来推理 [S8]
AIAlphaProof 在 Lean 里证明 IMO 2024 三道题 [S12]
绕过GameNGen:神经网络直接生成 Doom 画面,单 TPU 20 帧每秒 [S18]
隐空间Coconut:模型在连续隐空间里推理 [S21]

2025

误读Gibberlink 演示:两个语音 agent 切换声波协议,是提示词预设的 [S24]
底层AlphaEvolve:48 次乘法、Verilog 改写进入未来 TPU [S17]
AIBlenderMCP:AI 通过 Python API 操作 Blender [S10]
AITypeScript 按月活贡献者成为 GitHub 第一,报告把原因之一归于类型语言让 agent 编程更可靠 [S13]
绕过Genie 3:由文本生成可交互世界,720p、24 帧每秒,可持续几分钟 [S19]
警告思维链可监控性联名论文 [S22]

2026

AIClaude Code 负责人公开说明:早期用向量库检索,后来改用 agent 自己搜索文件 [S7]
预测Musk:「今年年底 AI 会直接生成二进制」[S20]
AI博客文章《In 2026, slides are HTML》[S5];HeyGen 开源 HyperFrames,把 HTML 渲染成视频 [S4]

正在发生的「A→B」:三类例证

按类型筛选。每张卡片写明人设定了什么、AI 做了什么、边界在哪里。

跨用途

HTML/CSS 做汇报

网页→幻灯片
人设定
产品或 skill 规定输出 HTML
AI 做
写整套页面、动画和排版
原因
AI 擅长写 HTML/CSS;.pptx 是 ZIP 里的 XML,也能用 SDK 生成,但更难直接改 [S5]
边界
需要交给别人改的场合,HTML 转回可编辑 PPT 时排版可能走样(作者判断)

来源 S5、S6;前身 reveal.js [S1]

跨用途

HTML/JS 做视频

网页交互→逐帧视频
人设定
HeyGen 搭好 HyperFrames:浏览器逐帧截图,再编码成 MP4
AI 做
agent 写 HTML、CSS 和 JS,项目可以再改
边界
适合排版、图表、文字动画;实拍画面仍要靠素材或生成模型

来源 S4;前身 Remotion [S3]、Manim [S2]

跨用途

SVG 让文本模型画图

矢量图格式→模型评测载体
人设定
Simon Willison 出题「鹈鹕骑自行车」,要求输出 SVG
AI 做
写 SVG 代码,浏览器把它画出来
原话
纯文本模型「本不该会画画」,但「SVG 是代码」
迁移在哪
SVG 本来就用来画图;新用途是把它当作衡量文本模型能力的评测载体
边界
作者自己说这个测试起初是玩笑

来源 S9

跨用途

Matplotlib 当推理草稿纸

出图表→画辅助线再看图推理
人设定
研究者给模型画图工具和视觉模型
AI 做
写代码画辅助线、框和标记,再读图继续推理
数字
数学任务平均提升 12.7%,视觉任务平均提升 8.6%(同一模型有无草稿纸对比)
边界
辅助线画错时,后面的推理也会跟着错(作者判断)

来源 S8(NeurIPS 2024)

跨用途

JS 代码当游戏技能库

人设定
研究者设计「写技能、存技能、取技能」的机制
AI 做
GPT-4 写技能代码,存起来,在新任务里组合使用
数字
与此前最好的方法比:独特物品 3.3 倍,移动距离 2.3 倍,科技树里程碑最快 15.3 倍
边界
倍数是对旧 AI 方法,不是对人类玩家

来源 S11

跨用途

React 组件设计电路板

网页界面组件→原理图和 PCB 布局
人设定
tscircuit 把电路元件做成 React 组件
AI 做
可以像写网页一样写 TSX 电路(作者判断:代码形式让 AI 更容易参与)
边界
能生成布局不等于能制造、能通过电气检查

来源:tscircuit 官网与 GitHub 描述「用 React 和 TypeScript 做真实电子产品」

原用途自动化

Blender Python 做 3D 布景

人点鼠标→AI 调 Python API
人设定
开发者用 MCP 把 Blender 接给 AI
AI 做
搭场景、放灯光和相机、批量改名和导出
边界
有机建模、绑定动画和拓扑处理较弱;精确空间定位差,要多轮修正;文章称它是快速原型工具

来源 S10

原用途自动化

CadQuery 代码化 CAD

人画 3D 模型→模型写 CAD 脚本
人设定
研究者给 17 万条 CadQuery 标注,微调 6 个开源模型
AI 做
按文字描述写 CadQuery 代码,生成 3D 形状
数字
最好模型 top-1 完全匹配率从 58.8% 升到 69.3%(论文自建数据集)
边界
能运行不等于可制造;不是工业 CAD 成功率

来源:arXiv 2505.06507

原用途自动化

grep 和文件系统做代码检索

向量库检索→agent 自己搜文件
人设定
团队先试了 RAG 加本地向量库
AI 做
用 Glob、Grep、Read 按需查找代码
原话
「agentic search generally works better」,而且更简单,没有安全、隐私、过期和可靠性问题
边界
这是代码库场景里的工程取舍;概念搜索、超大资料库仍可能需要检索索引

来源 S7

原用途自动化

Strudel 用代码写音乐

人现场编码→LLM 写节奏和旋律
人设定
社区做了 MCP 服务和 Claude Code skill
AI 做
写 Strudel 代码,在浏览器里直接播放
边界
能播放不等于好听,没有自动检查器;更像草稿本,不能代替编曲软件

来源 S25

当检查器用

Lean 检查数学证明

数学家写形式化证明→AI 训练和答题的裁判
人设定
专家先把 IMO 题目人工翻译成 Lean
AI 做
AlphaProof 搜索证明,Lean 判断对错
数字
AlphaProof 解出 3 题(21 分,含最难的第 6 题);加上 AlphaGeometry 2 解的几何题,共 28/42 分,达到银牌线
边界
部分题目算了最多三天,人类选手只有两场各 4.5 小时;赛制不同

来源 S12

当检查器用

类型系统抓 AI 的错误

帮人写大项目→帮 AI 提前报错
现象
2025 年 8 月,TypeScript 按月活贡献者首次超过 Python 和 JavaScript
报告解释
类型语言让 agent 辅助编程在生产中更可靠;报告引用的研究称 LLM 生成代码的编译错误中 94% 是类型检查失败
边界
这是 GitHub 的解释,不是因果实验结论

来源 S13

当检查器用

仿真器给奖励代码打分

人设定
给出环境源码和任务描述
AI 做
GPT-4 写奖励代码,仿真训练后看结果再改
数字
29 个环境中 83% 超过人类专家写的奖励,平均标准化提升 52%
边界
每一轮都要完整训练,计算成本高

来源 S14

当检查器用

评估程序筛选数学构造

跑 Python 打分→发现新数学结果
人设定
研究者写程序骨架和评分函数
AI 做
LLM 反复改写一个函数,评分高的留下继续改
数字
n=8 时找到 512 个点的 cap set,旧记录 496
边界
只适合「结果能自动打分」的问题

来源 S15

分类说明:「跨用途」指工具被用在原设计之外的功能;「原用途自动化」指功能没变,只是由 AI 来操作;「当检查器用」指工具负责判断 AI 的产出对不对。

规律:什么样的工具最容易被 AI 拿去用

作者判断:同时满足下面四个条件的工具,最有利于 AI 自动化。这是假说,不是测量。四列分开看,不加总分。

能写成文本3 = 源头是纯文本;2 = 主体是文本,部分状态要靠界面或二进制资源;1 = 大量状态藏在图形界面里
有自动检查器3 = 能自动判断对错(证明器、仿真、编译);2 = 能自动检查能否运行或渲染,内容对错要人看;1 = 只能跑出来,好坏全靠人看或人听
训练语料多3 = 公开代码和教程极多;2 = 有一定规模的社区和文档;1 = 小众,样本少
产物形态转换程度3 = 文字变成自由画面、视频、实物或电路;2 = 文字变成声音、证明结果或数据图表(图表单列为 2 分,因为它是数据的直接映射);1 = 产物仍是文字或代码
工具能写成文本有自动检查器训练语料多产物形态转换程度依据可靠度

读法:「有自动检查器」得 1 分的工具(Blender Python、G-code、Strudel),最需要人把关。HTML 类工具得 2 分:能自动检查渲染和布局,但内容对错仍要人看。渲染成功不等于内容正确。

两条路线和一条混合路线

AI 产出图像、视频、世界时,不止「写代码再渲染」这一种做法。三种做法会按需求分工,不是谁取代谁。

工具中介

需求 → 代码(HTML/JS/Python) → 渲染器 → 成品
  • 可以改:改一行代码再渲染
  • 可以查:源码就是记录
  • 便于精确控制文字、数字和布局,但仍需检查

例:HyperFrames [S4]、HTML 幻灯片 [S5]、CadQuery

混合

模型提方案 → 代码执行或渲染 → 模型看结果或评分 → 再改
  • 代码负责结构和检查
  • 模型负责提出想法和判断
  • 本页列举的「新发现」都出在这条路线上

例:Visual Sketchpad [S8]、FunSearch [S15]、Eureka [S14]、AlphaEvolve [S17]

神经直接生成

需求 → 模型权重 → 像素或交互画面
  • 不写代码,没有中间源码
  • 擅长真实感画面和开放场景
  • 难精确修改,难逐步审查

例:GameNGen 直接生成 Doom 画面 [S18]、Genie 3 生成可交互世界 [S19]

「离开人类工具」走到了哪一步

原观点说 AI 将来会跳过编程语言。现有证据分三个方向,颜色表示进度:绿色已落地,橙色部分落地,红色只有说法。

往下走:更底层的语言

汇编(2023)AlphaDev 找到更短的 3–5 元素排序例程,短序列最快约快 70%,超过 25 万元素时约快 1.7%;翻回 C++ 后并入 LLVM libc++ [S16]
电路描述(2025)AlphaEvolve 提出 Verilog 改写,去掉矩阵乘法电路里多余的位,进入未来的 TPU [S17]
直接二进制(预测)Musk 2026 年 2 月预测年底实现 [S20];没有实现证据

往里走:不用文字思考

隐空间推理(2024)Coconut 把隐藏状态直接作为下一步输入,能同时探索多条路径,在需要大量规划搜索的逻辑任务上超过思维链 [S21]
风险提醒(2025)联名论文:隐空间架构和大规模强化学习可能让思维链不再可读 [S22]

绕过去:不写程序直接出结果

游戏模拟(2024)GameNGen 用神经网络模拟 Doom,单 TPU 20 帧每秒;评分者区分真假片段的准确率接近随机 [S18]
可交互世界(2025)Genie 3 由文本生成 720p、24 帧每秒的世界,可持续几分钟 [S19]
这两个案例的验证流程:AlphaDev 的结果翻回 C++ 后才并入 LLVM;AlphaEvolve 的乘法方法能被数学检查,Verilog 改写经过电路验证。两者都在进入生产系统前经过了人能复核的验证。其他成果是否同样如此,本页没有核查。

「AI 发明自己的语言」:两个常见误读

「人类看不懂」的担忧值得认真对待,但常被引用的两个例子并不支持它。

误传
误读

Gibberlink:两个 AI 改用声波说话

2025 年 2 月黑客松项目。两个语音 agent 被提示词要求:确认对方是 AI 后切换到 ggwave 声波协议。这是开发者设定的,不是 AI 自发发明 [S24]。

更有意思的五个发现

前两条是作者假说,后三条有直接例证。

文本接口在哪里,AI 就先到哪里

HTML 汇报、SVG 画图、CadQuery、tscircuit、Strudel 的共同点是:原本要用图形界面做的事,有了一个文本入口。没有文本入口的专业软件,要么等 AI 学会点鼠标,要么被人补上文本接口。

性质:作者假说。反面证据:计算机使用基准 OSWorld 的 2024 年原论文中,最好模型只完成 12.24% 的任务,人类为 72.36% [S28];2026-10-13 核查时,聚合榜单上的最高分约 85–86%,均为厂商自报,且与旧版不可直接比较 [S26]。AI 也在学图形界面。

检查器在升值

Lean、类型系统、仿真器、评分程序原本是给人用的严格工具,现在成了 AI 的裁判和训练信号。图形界面编辑器是否在贬值,目前没有数据,只能算待验证的假说。

依据:AlphaProof [S12]、Octoverse [S13]、Eureka [S14]、FunSearch [S15]。

新意可以在产物里,不在工具里

FunSearch 用的是普通 Python,找到的却是 20 年来最大的 cap set 渐近下界改进。用旧工具不等于只能做旧事。

依据:S15、S17。

代码是 AI 的外部记忆

Voyager 不微调模型,靠把技能写成代码存起来,在后续任务中组合使用。衡量 AI 用工具的效果时,要看跨任务复用,不只看一次生成的质量。

依据:S11;Claude Code 改用文件搜索也是同一方向 [S7]。

「看得懂」是一种设计选择

可读的中间产物(源码、调用日志、测试结果)是人能检查 AI 的前提。可读的思维链不一定忠实反映模型内部,所以优先保留可以复核的源码、日志和测试。

依据:S22。

值得深挖的工具清单(按功能)

每行给一个能在一两个小时内完成、能自己验收的小实验。优先级是作者判断。

功能工具为什么值得检查器验证小实验优先级
时间媒体HyperFrames、Remotion、Manim代码化视频可改、可复用模板逐帧预览、渲染日志同一段 60 秒讲解,分别用剪辑软件和代码做,记修改一处文字的耗时高
验证Lean、TypeScript 类型、测试框架检查器越强,越能放心让 AI 多做自身就是检查器同一个脚本分别用 JS 和 TS 让 AI 写,比较第一次运行的报错数高
推理草稿Matplotlib、SVG、Mermaid让 AI 先画图再判断,减少空想看图是否与数据一致拿 5 道带图的题,比较「先画辅助图」和「直接回答」的正确数高
外部记忆Markdown、git、grep把做过的事写成可复用的文件git 历史、能否复跑把一个重复任务写成脚本存起来,下一次只给文件名看 AI 能否复用中
物理设计CadQuery、OpenSCAD、tscircuit已有文本入口(OpenSCAD 官网有 2013 年的版本发布记录,它一直用脚本描述 3D 模型 [S29]),AI 可以直接生成和修改设计脚本几何检查、电气规则检查让 AI 写一个手机支架的 CadQuery 脚本,导出后检查尺寸中
3D 与图形Blender Python、GLSL 着色器布景和批量操作能自动化渲染截图,人看用 BlenderMCP 搭一个产品展示场景,记修正轮数中
声音Strudel音乐有了浏览器里能直接播放的文本格式弱:只能人听让 AI 写一段 30 秒背景节奏,比较与素材库找曲的耗时低
对个人的建议:先找自己工作里「只能点鼠标、没有文本入口」的环节,给它补一层模板或脚本,这是 AI 最容易放大的位置。挑工具时问四个问题:能不能写成文本?有没有自动检查器?语料多不多?产物形态转换程度如何?同时保留源码和日志,不要直接追求「AI 自己的格式」。

来源

2026-10-13 核查。未能打开原文的条目在括号里注明。

  1. reveal.js 作者 Hakim El Hattab 个人站(自述 2011 年首次发布):https://hakim.se/
  2. 3Blue1Brown About(Manim 来源):https://www.3blue1brown.com/about/
  3. Introducing Remotion(2021-02-08):https://www.remotion.dev/blog/introducing-remotion
  4. HeyGen HyperFrames 介绍:https://hyperframes.heygen.com/introduction;研究页:https://www.heygen.com/research/html-to-video
  5. In 2026, slides are HTML(2026-04-21):https://jiaweing.com/blog/in-2026-slides-are-html
  6. MindStudio:Claude Design 幻灯片与原型:https://www.mindstudio.ai/blog/claude-design-animated-prototypes-slide-decks
  7. Visual Sketchpad(arXiv 2406.09403,NeurIPS 2024):https://arxiv.org/abs/2406.09403
  8. Simon Willison:The last six months in LLMs(2025-06-06):https://simonwillison.net/2025/Jun/6/six-months-in-llms/
  9. Voyager(arXiv 2305.16291):https://arxiv.org/abs/2305.16291
  10. AlphaProof,Nature(2025-11):https://www.nature.com/articles/s41586-025-09833-y
  11. GitHub Octoverse 2025:https://github.blog/news-insights/octoverse/octoverse-a-new-developer-joins-github-every-second-as-ai-leads-typescript-to-1/
  12. Eureka(arXiv 2310.12931):https://arxiv.org/abs/2310.12931
  13. FunSearch,Nature(2023-12-14):https://www.nature.com/articles/s41586-023-06924-6;DeepMind 博客:链接
  14. DeepMind:AlphaDev discovers faster sorting algorithms(2023-06-07):https://deepmind.google/discover/blog/alphadev-discovers-faster-sorting-algorithms/
  15. DeepMind:AlphaEvolve(2025-05-14):https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
  16. GameNGen(arXiv 2408.14837):https://arxiv.org/abs/2408.14837
  17. TechCrunch:Genie 3(2025-08-05):https://techcrunch.com/2025/08/05/deepmind-thinks-genie-3-world-model-presents-stepping-stone-towards-agi/
  18. Coconut(arXiv 2412.06769):https://arxiv.org/abs/2412.06769
  19. Chain of Thought Monitorability(arXiv 2507.11473,2025-07-15):https://arxiv.org/abs/2507.11473
  20. The Register(2017-08-01):https://www.theregister.com/2017/08/01/facebook_chatbots_did_not_invent_new_language/
  21. Wikipedia:Gibberlink:https://en.wikipedia.org/wiki/Gibberlink
  22. Strudel:https://strudel.cc/;LLM 协作仓库:https://github.com/calvinw/strudel-llm-docs
  23. OSWorld 聚合榜单(2026-10-13 核查,成绩为厂商自报,未逐条复测):https://leaderboard.steel.dev/leaderboards/osworld/
  24. Text-to-CadQuery(arXiv 2505.06507):https://arxiv.org/abs/2505.06507;tscircuit:https://tscircuit.com/
  25. OSWorld 原论文(arXiv 2404.07972,2024-04):https://arxiv.org/abs/2404.07972
  26. OpenSCAD 新闻与发布记录:https://openscad.org/news.html