Transformer
架构以注意力机制处理序列的神经网络设计。规定部分计算结构,不规定它会自主升级。
递归自我改进(RSI)谈的是一个跨版本的反馈过程:今天的系统改进下一版;下一版又更擅长设计再下一版。Transformer 和 LLM 则是其中可能使用的结构与模型。
一句话记住:Transformer 是“机器怎么处理信息”;LLM 是“训练出的语言模型”;Agent 是“模型怎么接工具做事”;RSI 是“系统如何反复改进产生下一版自己的过程”。AGI / ASI 描述能力目标,智能爆炸是可能出现的增长结果;它们都不等同于 RSI。
它们可以同时出现在一个系统里,彼此不是替代选项。
以注意力机制处理序列的神经网络设计。规定部分计算结构,不规定它会自主升级。
在大量语言数据上训练出的模型类别。常用 Transformer;能生成改进建议,但建议本身不是持久升级。
把模型接上工具、记忆、执行与反馈。可以自主做任务,也可能只在固定流程中循环。
系统修改自身的模型、工具或研发方法,并由改进后的版本参与下一轮改进。
对比重点是“改变发生在哪里”和“能否继承到下一轮”。
| 概念 | 核心问题 | 通常改变什么 | 足以证明 RSI 吗? |
|---|---|---|---|
| Transformer | 网络如何计算上下文? | 架构与注意力计算 | 否。结构本身没有改进闭环。 |
| LLM / 基础模型 | 模型会生成什么? | 训练得到的参数与输出能力 | 否。模型可以是改进者的组件。 |
| Agent / 工作流 | 如何调用工具、记忆和反馈? | 执行路径、外部记忆、工具配置 | 否。自主做任务与自主升级是两回事。 |
| 推理时自我修订 | 当前答案能否改好? | 一次输出;通常不改权重 | 否。清空会话后优势可能消失。 |
| 自训练 / 自博弈 / RL | 经验如何变成能力? | 数据、策略或模型权重 | 未必。目标、评估、算法可能仍由人固定。 |
| 持续学习 | 系统能否不断吸收新经验? | 记忆或权重 | 未必。学更多不等于更会设计学习过程。 |
| 元学习 / AutoML | 能否优化学习方法或模型设计? | 优化规则、架构或搜索流程 | 接近,但还需跨代继承与元改进证据。 |
| RSI | 新版本会否更会制造下一次改进? | 改进者自身及其研发机制 | 这是要检验的命题,不是产品标签。 |
| AGI / ASI / 智能爆炸 | 能力达到何种范围、增长多快? | 能力水平或增长轨迹 | 结果或愿景;RSI 可能是路径之一。 |
阶段是教学框架,非学界统一等级或行业认证。
这是“证据强度”阶梯,不是每种系统都必须按顺序经过。外部记忆、权重、代码都可能成为可继承的改动载体。
模型重写当前回答。任务质量可能提高,但系统没有留下可复用的新能力。
以下数字只属于各论文的特定任务和设置,不可横向当作统一 RSI 得分。
同一模型用反馈反复修改答案。论文报告多类任务的提升;没有依此更新模型参数,因此说明推理时修订有效,不能证明跨版本 RSI。
原始论文 ↗STaR 生成推理样本、筛选后微调;AlphaZero 在规则固定的棋类中自博弈提升。它们证明了自生成训练信号可用,评价标准和任务边界仍是预设的。
STaR ↗ · AlphaZero ↗系统迭代修改编程 Agent 代码,并用基准测试筛选;论文报告 SWE-bench 从 20% 到 50%。基础模型在实验中冻结,提升发生在 Agent 设计和工具层。
原始论文 ↗2026 年预印本在 10 个训练算法任务中,最佳系统标准化得分 0.250,原算法为 0.1、任务最优为 1.0;多数提交没有改变模型的学习方式。这是特定测试的证据,不是 RSI 的全领域上限。
原始预印本 ↗真正强的主张要求:新版本在相同预算、独立评估下,比旧版本更擅长设计下一次改进;这种优势持续多轮、跨任务成立,并能排除基准过拟合与外部资源增加。
这里是综合判断与建议的验证标准,不是某篇论文的原话。I. J. Good 的论证是思想实验:若机器设计机器的能力形成正反馈,可能快速增长。资源、实验速度、评估质量和收益递减都会改变轨迹;不能从单次能力提升推出必然爆炸。
Good 1965 原文信息 ↗最容易误读的一句:“AI 帮助研发下一代 AI”可以成立,但它描述参与程度,不自动说明研发全程自主,更不说明每一代的改进能力都在加速。要看改动归属、外部评估、继承方式和多轮曲线。
能答清前几项是好工程;要支持强 RSI 主张,六项都需要有可复现的证据。
改了什么?只是当前回答,还是记忆、权重、工具、研发算法?
改动留下了吗?重启后,新版本仍能用它吗?
谁定目标、谁打分?有隐藏测试、独立评估或真实结果吗?
换题仍有效吗?跨任务、跨数据、跨时间的提升还在吗?
下一轮更会改了吗?同预算下,新版本设计后续改进更好吗?
多轮净收益稳定吗?把算力、时间、失败、回归和安全退化一起算进去。
核查日期:2026-09-23。论文结果是作者报告;尚未独立复现实验。
已读取两篇原文,用于整理问题结构与验证框架。它们是用户个人知识笔记,其中的“点火”、四层标准与部分 2026 年案例属于笔记作者的归纳;本页仅采用可由原始材料支持的具体事实,不把笔记数字当作独立证据。