输入
可被模型读取的观测。字符、图像块、节点、段落或历史状态；先写清 shape，才知道“数据”究竟是什么。
01 · 先校正期待
值得学，但要用对姿势
这个仓库最大的价值，是把抽象机制压缩成能单步观察的数组运算；最大的风险，是把“玩具模型跑起来”误当成“论文结果被复现”。
它是什么30 个教学型 Notebook，覆盖机制直觉、前向计算、少量手写反向传播与合成实验。
它不是什么不是逐论文忠实复现；没有原数据集、统一环境、完整训练配方、指标对齐或结果表。
最优用法先预测数组形状与信息流，再运行代码、改一个变量、解释偏差；最后回到原文核对。
30Notebook 文件
25/30Python 3.11 当前依赖实跑通过
16,227代码行（Notebook 代码单元）
0仓库内已保存的执行输出
实跑通过
实跑失败
后补的现代主题
核心计算不用 PyTorch / TensorFlow，但依赖 NumPy、SciPy、Matplotlib，#12 还需 NetworkX。
02 · 先定义，再类比
每篇都在改写同一条学习链
这里的“懂”不是记住名词，而是能指出：什么进入系统、被怎样表示、靠什么信号改变、最后拿什么证据判断。30 篇论文分别在这条链的不同位置动刀。
表征
为了完成任务而保留下来的数组。隐藏状态、卷积特征、潜变量、记忆槽与文档向量，都是“把什么留下”的不同答案。
学习信号
告诉参数往哪里改的可计算差异。损失、奖励或编码长度；没有目标与反向路径，前向演示还不等于学会。
评估
独立于直觉的外部校准。基线、留出数据、消融、误差曲线或论文指标；“画面很像”不是评估。
03 · 一张总地图
AI 像一座会学习的城市
类比不是证明，而是暂时的脚手架。先借熟悉事物看清信息如何流动，再用公式和代码把脚手架拆掉。
压缩：什么才算“懂”
01 · 05 · 19 · 23 · 24 · 25
城市需要最短的地图与规则。MDL、Kolmogorov 复杂度把“解释”变成编码长度。
记忆：过去如何进入现在
02 · 03 · 04 · 20 · 21 · 27
RNN、LSTM、外部存储和 CTC 解决时间轴上的保留、对齐与预测。
结构：邻域如何形成表征
07 · 10 · 11 · 12 · 15 · 26
CNN 看局部街区，GNN 沿道路传话，残差连接保留主干道。
路由：该听谁、指向谁
06 · 08 · 13 · 14 · 16 · 18
注意力把“固定压缩”改成“按问题取信息”，关系网络显式比较对象。
生成：在约束中创造
17
VAE 用概率空间保存可生成的摘要：不是复制样本，而是学习样本可能来自哪里。
放大：规模与外部知识
09 · 22 · 28 · 29 · 30
流水线扩大计算，幂律估算收益，检索给模型接图书馆，长上下文暴露注意偏置。
04 · 不按编号硬啃
四轮学习，比“一次读完”更可靠
推荐顺序按认知依赖排列，不按仓库编号。每轮都必须产生可检查的输出，避免把收藏、浏览和理解混成一件事。
先抓住信息流
从最小循环到选择性记忆，再到动态取信息和并行注意力。
02 → 03 → 14 → 13 → 10再看结构归纳偏置
理解模型为什么用局部、尺度、邻接和对象关系来减少搜索空间。
07 → 11 → 12 → 16 → 15 → 26补齐内外部记忆
把潜变量、软地址、关系记忆、无对齐训练与多步预测串起来。
17 → 20 → 18 → 21 → 06 → 08 → 27最后讨论边界与规模
压缩理论告诉你何谓解释；系统与检索告诉你现实机器如何获得能力。
01 → 19 → 23 → 25 → 24 → 05 → 09 → 22 → 28 → 29 → 30每篇只做一个递归闭环
把本轮输出留给下一轮：预测错在哪里、改了哪个变量、证据如何变化。这样“看懂”才会逐步变成可迁移的判断力。
学定义输入、输出、目标练关掉输出，预测 shape / 数值用只改一个变量，记录差异造构造反例，写出失败原因
一篇的停止条件：不看 Notebook，仍能写出信息流、一个可证伪预测和一个忠实度边界；否则回到“练”，不要继续加新论文。
05 · 30 篇核心
从公式、类比回到代码
每条先给“解决什么”，再给“像什么”；展开后用关键式、代码锚点、可证伪练习与忠实度边界把直觉校准回来。搜索支持标题、机制、代码名和类比。
显示 30 / 30
没有匹配项
换一个关键词，或把筛选恢复为“全部”。
06 · 仓库审计
事实、推断、建议、反证分开看
研究仓库不只看星标与 README，还要看可复现环境、执行证据、测试边界和实现是否真的对应论文实验。
事实
- 30 个 Notebook、271 个代码单元、约 16,227 行代码。
- 所有 Notebook 提交时都没有保存执行计数和输出。
- README 没有锁定 Python/依赖版本；安装说明漏掉 #12 的 NetworkX。
- 根目录没有 LICENSE 文件；“Educational use”不是标准许可证。
综合推断
- 它优化的是“机制可见性”，不是实验忠实度。
- 大量随机权重、合成数据和启发式规则，适合建立直觉，不足以支持论文结论。
- 26 个早期条目加 4 个现代主题构成仓库的 30 项；不是可核验的 Ilya 原始 30 条逐项照录。
建议
- 把它用作读论文前的拆机实验，而不是读论文的替代品。
- 优先学习 02、03、10、13、14；再选一个真实任务重写最小训练闭环。
- 引用或二次发布代码前，先向作者确认许可。
最强反证
- 玩具实现会删掉规模、优化、数据与评估，恰好可能删掉论文最重要的部分。
- 类比让人“感觉懂了”，但不能保证能推导 shape、梯度和复杂度。
- “90% of what matters”目前可定位到第三方 X 帖转述，不应写成已核验的 Ilya 原话。
| Notebook | 隔离实跑失败点 | 意味着什么 |
|---|---|---|
| 04 · RNN Regularization | imshow 收到一维 (400,) 数组 | 可执行叙述未被端到端验证 |
| 09 · GPipe | 子类缺少 get_timeline_matrix | 重计算演示与可视化接口脱节 |
| 19 · Coffee Automaton | 历史列表取样索引越界 | 展示帧数与实际记录长度不一致 |
| 24 · Machine Super Intelligence | Python 3.11 f-string 语法失败；3.12 下又遇 Matplotlib 参数兼容 | 缺少版本锁定与兼容性测试 |
| 26 · CS231n | 卷积权重变量被整数覆盖 | Notebook 的后段 CNN 流程没有全程跑通 |
07 · 来源与方法
哪些是原始资料，哪些是项目叙述
页面中的论文机制优先指向论文、作者博客或课程原页；仓库评价来自源码与本地实跑；对 Ilya 的归因只按可找到的证据强度表达。
一手代码
pageman/sutskever-30-implementations，审计提交 225cba7b03622c9c21655d39d64662dee162b37e。每篇卡片链接到该提交的固定 Notebook。
论文与作者资料
每篇卡片中的“原文”链接；包括 arXiv、NeurIPS、作者博客、CS231n 官方课程页等。Aman’s AI Journal 仅用作发现索引，不替代原文。
名单来源边界
Keshav 在 X 的 2024-05-07 帖子转述“Ilya 给 John Carmack 约 30 项阅读材料，并称掌握后可了解当时 90% 的要点”。暂未在本次研究中定位到 Ilya 或 Carmack 的直接原始发布。
实跑条件
macOS arm64；Python 3.11.15；NumPy 2.4.6、Matplotlib 3.11.1、SciPy 1.17.1、NetworkX 3.6.1；无 GPU，MPLBACKEND=Agg。另用 Python 3.12.13 复核 #24。