DeepSeek 开源推理框架 DeepInfer — 一期视频解说的逐条核对

一、先说核对规则，再看总览

「一致」只表示与所引来源吻合，不等于有人独立复现过。六个标签不是从真到假的单一等级，它们回答的是不同问题。

一致

说法与官方来源吻合。多数还需要补一句限定，才不会被读歪。

需纠错

有明确的名称或数字错误，不属于口径之争。

口径不同

数字本身没错，但需要补明比较基线、统计分母或适用范围。

说过头

把官方的有条件结论扩成了无条件结论。

未证实

本次没有找到可核验的出处，不等于一定是假的。

观点

评价或类比，不能用事实真假来判。

18 条说法的判定分布

条长按条数等比，最长的一条对应 6 条，不代表占比百分之百。

一致6

未证实4

需纠错3

说过头2

观点2

口径不同1

全部 18 条

视频说法与官方来源逐条对照。「原因」列给出需要补上的限定。
视频说法	判定	原因与应有的说法
框架叫「DeepInfra」	需纠错	官方仓库名为 DeepInfer。DeepInfra 是另一家美国推理服务商的名字，两者无关。
单集群一天服务 155 万亿 token	一致	官方问答原文如此，属 DeepSeek 自报，无第三方核验。是单个集群的在线量，不是全公司，也没有公开输入、输出与缓存命中各占多少。
整体收入每卡每小时 38 美元	一致	官方原文为「整体收入是每卡每小时 38 美金（按谷价）」。三个限定缺一不可：按 API 谷时价格计、是收入不是利润、是该部署的整体平均而非单卡独立创收。
折算下来一天六千多元、一个月二十万元	一致	算术成立：38 乘 24 等于 912 美元，再乘 30 约 27,360 美元。但这是条件外推，假设该收入率持续不变，且汇率需另核。它不是已实现的月收入。
解码侧用 64 到 182 张卡的超节点	需纠错	官方表述是 64 到 128 卡超节点，预填充用普通 8 卡机。182 这个数字在官方材料中不存在。
KV 缓存留 72 小时以上，聊天 7 天、agent 3 天	一致	「超过 72 小时」是官方写明的系统设计目标之一；3 天与 7 天是两类流量各自的实际 TTL。两者层级不同，不是同一句话的换算。
投机解码让吞吐提升 4% 到 7%	口径不同	数字在官方表里，但缺了比较基线。官方这个区间比的是「变长验证」对「固定验证 5 个草稿 token」，两边都用投机解码，不是「用了比不用快 4% 到 7%」。官方中文文章给的单一数字是 6%。在表中并发最低的那一点，增益为负。
预填充总计算量砍掉将近一半以上	说过头	官方原文说的是解码层有界回放「接近减半」总预填充计算量。视频的「将近一半以上」比官方表述更满，且减的是计算量，不能读成耗时或费用减半。
等于把整台印钞机都交出来了（对视频多处表述的概括，非单句原话）	说过头	本次公开的是离线推理引擎。官方明确列出三项未包含：KV 缓存系统、视觉编码与预填充解码的分离部署、数据并行副本间的负载均衡。
9 月 30 日开源了昇腾六件套	未证实	日期与六个组件（TileLang、DeepGEMM-Ascend、DeepEP-Ascend、TileKernels、FlashMLA、DeepSelect）只见于一篇技术社区文章，本次未取得 DeepSeek 或华为的官方公告。按本页标准，无官方来源即记为未证实，不等于判定为假。
这套东西就是 DeepSeek 版的 CUDA	观点	生态类比，不属事实判定。该社区文章把这些组件转述为 DeepSeek 做研究的核心工具，并非官方定位表述。能不能替代 CUDA 取决于生态与工具链成熟度，不由几个算子的成绩决定。
注意力算子在昇腾 950 预填充阶段达硬件峰值 95%	未证实	视频已带「预填充」限定，与社区文章一致。但该数据只见于那篇技术社区文章，本次未取得一手确认，故记为未证实。该文同时给出解码阶段 360 TFLOPS、约 83%，读的时候两个阶段要分开看。
这套框架能跑在昇腾 950 上	一致	README 明确把昇腾 950 列为支持硬件。但批不变推理与确定性采样标注仅限英伟达，README 展示的整框架基准也全部在英伟达 SM100 上测得。
「达里奥真的是太虚伪了」	观点	人物评价不按事实真假判。视频指向的应为 Anthropic 的 Dario Amodei，但转述里只有「达里奥」这一称呼，身份属推断。本次未核验到他在此事上的任何可引用原话，相关访谈的原文与时间戳也未取得，故本页不引用。
据说昇腾的人常驻 DeepSeek	未证实	本次未找到任何一方的公开确认。视频自己也用了「据说」。相关的可核事实只有一条：有技术社区文章称 DeepSeek 与华为联合调优过一个 128 卡昇腾 950 超节点。
2022 年 10 月美国禁了最高端的英伟达芯片	需纠错	日期与措施要拆开看。日期：2022 年 10 月确有一轮管制规则，这半句成立；补一条时间线，对 A100 与 H100 的限制始于 2022 年 8 月 26 日。措施：实际形式是对特定目的地施加出口许可要求，不是笼统的「禁」。
口号「为善与众行之，为巧与众能之」	一致	该句出现在 DeepSeek 本次开源公告中，媒体转载可见。其典籍出处本次未核。
云厂商报不出官方价，就因为这套框架没开源	未证实	本次未取回任何可逐句引用的报道原文，无法确认这条因果关系。「所有云厂商都报不出」与「唯一原因」两层主张也都超出现有证据。

二、这次究竟开源了什么

一句话：放出来的是离线推理引擎和配套算子，不是一整套能直接接线上流量的生产服务。

包含在内

优化过的算子、模型与采样器运行时
并行策略：注意力数据并行、均衡上下文并行、专家并行与专家负载均衡
DSpark 投机解码与置信度调度验证
滑动窗口注意力的有界回放
异步调度（零开销批调度器）
批不变推理与确定性采样（标注仅限英伟达）
结构化输出

官方明说未包含

KV 缓存系统
视觉编码、预填充、解码的分离部署（官方注明引擎侧所需功能多数已实现）
预填充与解码两侧的数据并行副本负载均衡

原因是这两部分与 DeepSeek 内部基础设施耦合太深。视频里「印钞机」的那几项，恰好大半落在这一栏。

边界条件

许可证 Apache-2.0；同时开源的 token 编解码组件 deepseek-recipe 为另一仓库
仅提供离线推理
仅支持 DeepSeek-V4.1-Flash，默认权重为 1017 版
硬件：英伟达 SM100 或华为昇腾 950
环境：Linux、GCC 13 及以上、Python 3.12、CUDA 13 或 CANN 9.2
主要基于 vLLM 构建，并参考了 SGLang 与 TensorRT-LLM

这为什么仍然重要。此前 DeepSeek 放出的是零件，这次补的是把零件装成整机的调度层。官方同时承诺，后续新模型的推理代码与性能优化会继续放进这个仓库。

三、155 万亿与 38 美元该怎么读

这两个数字出自官方文章同一句话。读之前要先锁定三件事：统计的是谁、分母是什么、按什么价格计。

目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。

155 万亿单集群每天服务的 token 数DeepSeek 自报。是一个集群，不是全公司。

38 美元每 GPU 小时的整体收入按 API 谷时价格计。是收入，不是利润。

约 1:1实际部署中预填充与解码的卡数比官方图注：不考虑波峰波谷。

视频的那笔账，算术没错，口径有问题

第一步38 美元 × 24 小时

得 912 美元，约合人民币六千多元。

第二步× 30 天

得 27,360 美元，按七元出头的汇率约合二十万元人民币。

但是三处不能省

谷时价不是全天价；收入不是利润，没扣硬件折旧、存储、网络与电力；这是整体平均摊到每卡，不是一张卡独立挣到的钱。

要回答「赚不赚钱」，这两个数字还不够。官方没有披露硬件折旧、存储集群、网络、电力、人员与冗余资源的成本。没有成本侧，就不能算毛利，也算不出回本周期。

四、四种性能数字不能混用

视频里的速度感来自几个不同量级的数字。它们的统计对象完全不同，放在一起比较会得出错误印象。

预填充	每卡吞吐（不含缓存命中）	60K tokens/s	真正算出来的部分。
预填充	每卡吞吐（含缓存命中）	1.5M tokens/s	把命中缓存、无需重算的 token 也计入后的口径，两者相差二十余倍。
预填充	平均输入缓存命中率	96%	是否按 token 加权未说明。高命中率依赖那套未开源的缓存系统。
预填充	首字时延平均 / P99	400 ms / 1000 ms	官方同时给了平均与 P99 两档。
预填充	平均输入长度	77K tokens	解释了为什么缓存命中率这么关键。
解码	每卡吞吐	14K tokens/s	是集群运行下归一到每卡的吞吐，不是一张卡单独跑出来的速度。
解码	吐字速度	230 tokens/s（代码场景 300）	单个用户感知到的速度。
缓存	不活跃后保存时间	72 小时	对应那条「超过 72 小时」的设计目标。

官方还公开了两张离线基准曲线，口径与线上数据又不一样。预填充在 4 张 SM100 上、EP4DP4、13.1 万上下文下，每卡非缓存输入吞吐从约 6.6 万升到约 8.6 万 tokens/s 后趋平；解码在 64 张卡、EP64DP64 下，每卡输出吞吐随每用户速度下降而上升，从约 2,500 升到约 26,000 tokens/s。这是吞吐与延迟的取舍曲线，不是单点成绩。

一句话分清。吐字速度是单个用户的体验，每卡吞吐是集群摊下来的账，集群日服务量是生意规模，算子峰值百分比是芯片利用率。四者互不等价，任何一个都不能代表其余三个。

五、缓存与部署的真实条件

高命中率和高吞吐不是下载仓库就能得到的，它们依赖一整套配套资源。

存储规模

注意这是存储集群的容量，不是缓存的实际占用量。

保留策略

agent 流量 TTL 为 3 天，chatbot 流量为 7 天。chatbot 的长尾命中更重，少量缓存会被极多次读取。官方经验值：把 TTL 压到 3 天左右，会让 chatbot 流量的命中率下降 0.5 到 1 个点。

最小部署单位

官方说 1 组预填充加 1 组解码即可部署，实践中两者卡数比约 1:1。由于推荐的解码配置是 64 路专家并行起步，最小的高效部署单位是 64 张预填充卡加 64 张解码卡。

这是「高效」的门槛，不是跑起来的最低门槛，也没把存储等配套算进去。

跨机房可行性

因为 V4.1 Flash 大幅压缩了 KV 缓存，把预填充与解码拆到不同数据中心在技术上可行，代价是可靠性下降。官方给的带宽预算是每 8 张卡约 400 Gbps。实际部署在相邻的不同机房。

六、两项优化到底提升了多少

视频提到的两个加速手段都是真的。但问题各不相同：投机解码那个数字缺了比较基线，有界回放那句话比官方说法更满。

投机解码：比的是「变长验证」对「固定验证 5 个」

官方给出的 EP64/DP64 基准数据。并发列的单位是每个 rank 的并发序列数，不是卡数。
并发（序列/rank）	固定验证 5 个的估算吞吐	变长验证的估算吞吐	相对增益
16	4,891	4,816	−1.5%
32	8,964	9,111	+1.6%
48	12,032	12,467	+3.6%
60	13,730	14,466	+5.4%
72	14,962	15,961	+6.7%
96	16,817	18,660	+11.0%

官方把生产工作点定在每 rank 约 60 条并发，对应 4% 到 7% 的增益区间；中文版文章给的单一数字是 6%。在表中并发最低的那一点，增益是负的。所以这不是一个「普遍提速 4 到 7 个百分点」的结论，它只在特定并发区间成立，而且基线是另一种投机解码配置。

有界回放：减的是计算量，不是耗时

滑动窗口注意力的有界回放只重算最近 128 个 token，并把注意力窗口截断在回放段内，使重算代价变成与上下文长度和层数无关的常数。它用在两处：

编码器侧：当滑动窗口缓存缺失时，重算命中前缀的最后 128 个 token，与未命中后缀一起前向；块缓存原样复用。
解码器侧：精确重建本来需要把最后 2,560 个 token 过 20 层解码器，改为每次预填充只在解码层重算最后 128 个 token。官方对这一项的表述是「接近减半」总预填充计算量。

两个容易混的参数：128 是滑动窗口长度与重算窗口；README 给的默认保留后缀配置是 140 个 token，因为保留段必须覆盖窗口加上最大回退长度。另外「接近减半」说的是计算量，不能替换成耗时、费用或整体推理成本减半。

七、昇腾支持，和「替代 CUDA」之间隔着什么

支持事实、性能证据、生态类比，是三种强度完全不同的主张。

支持事实

README 把华为昇腾 950 明确列为支持硬件，构建时指定加速器类型即可。这一条成立。

性能证据到哪一层

算子层的数据只来自一篇技术社区文章，没有官方来源：稀疏注意力在昇腾 950 预填充阶段 410 TFLOPS、约 95%，解码阶段 360 TFLOPS、约 83%。整框架层没有公开数据：README 展示的基准全部在英伟达 SM100 上测得，批不变推理与确定性采样也标注仅限英伟达。

9 月 30 日的六个组件

以下组件清单与角色对应同样出自该技术社区文章。TileLang 对应 CUDA C 的角色，DeepGEMM-Ascend 对应矩阵乘法库，DeepEP-Ascend 对应集群通信库，TileKernels 提供通用向量与访存算子，FlashMLA 提供长文本注意力算子，DeepSelect 提供稀疏选择。它们都依赖华为的 CANN 计算软件层才能运行。

还缺什么才叫替代

几个算子打满利用率，和一个生态能承接第三方训练与推理的全部工作负载，是两回事。后者取决于工具链、调试、文档与第三方复测，目前都还没有公开证据。

八、历史、传闻与评价分开放

出口管制的时间线

按英伟达 8-K 原文：2022 年 8 月 26 日，美国政府通知该公司，对 A100 与即将推出的 H100 向中国（含香港）与俄罗斯的出口施加新的许可要求，即时生效，并覆盖含这些芯片的 DGX 等系统，以及此后达到同等峰值算力与芯片间互联门槛的产品。

2022 年 10 月那轮规则于 10 月 13 日在联邦公报公布，其中部分条款 10 月 7 日生效、一项 10 月 12 日生效、先进计算相关条款 10 月 21 日生效。

所以这条要拆成两半：「2022 年 10 月出台了一轮管制」成立；需要补的是八月那条时间线，以及实际形式为出口许可要求而非笼统禁售。

人员传闻

「昇腾的人常驻 DeepSeek」本次未找到任何公开确认。相关的唯一线索来自那篇技术社区文章，称 DeepSeek 与华为联合调优了一个 128 卡昇腾 950 超节点。这条本身也未取得一手确认。

视频说「达里奥真的是太虚伪了」。这是评价，不按事实真假判。两点要说清：转述里只有「达里奥」这一称呼，指向 Anthropic 的 Dario Amodei 属于推断；本次没有核验到他在开源这件事上任何可引用的原话，因此本页不引用相关表述，也不为这条评价提供背景支撑。

行业影响的说法

本次未取回可逐句引用的报道原文，因此无法确认「框架未开源导致第三方报不出官方价」这条因果关系，本页不作任何方向性背书。「此前所有云厂商都做不到」这类全称结论，更无证据支持。

还没有答案的六个问题

155 万亿怎么拆。输入、输出与缓存命中各占多少，集群有多少张卡，收入分母包含哪些 GPU，统计窗口多长。
成本侧是多少。硬件折旧、存储、网络、电力、人员与冗余资源都没披露，因此无法判断盈亏。
普通部署能复现到什么程度。需要多高的并发、多长的输入输出、多少缓存复用，以及什么样的存储与网络条件。
近似优化会不会影响输出质量。有界回放产生的是近似缓存，官方没有公布对应的质量验证。另外 README 给出的确定性采样配置要求关闭变长验证，两者能否同时开启，本次未验证。
昇腾验证到了哪一层。支持矩阵、算子微基准、整框架基准、线上部署与第三方复测，目前只有前两项有公开证据。
视频的原始表述。本次核对基于文字转述，不是原片。个别说法是口误还是转写错误，需要回听才能定；「达里奥」指谁也只能靠推断。

来源清单

按证据强度分三级。标注「未直接打开」的，不作为本页任何判定的唯一依据。

一手 · 官方仓库deepseek-ai/DeepInfer README　支持特性、未包含项、环境要求、基准测试条件。已直接读取。
一手 · 官方文档DeepSeek V4.1 Flash 推理部署问答　三条设计目标、155 万亿与 38 美元原句、TTL 策略、有界回放、投机解码数据表、最小部署单位。已直接读取。
一手 · 法规原文美国联邦公报 2022-21658 号规则　公布日 2022-10-13，条款分 10-07、10-12、10-21 生效。已通过官方接口读取公布日期与生效条款。
一手 · 公司披露英伟达 8-K（事件日 2022-08-26）　A100 与 H100 对华及对俄出口许可要求即时生效，覆盖含这些芯片的系统。已直接读取 Item 8.01 原文。
二手 · 官方公告转载观察者网转载 DeepSeek 开源公告　含「为善与众行之，为巧与众能之」原句。已直接读取。
二手 · 技术社区鲲鹏昇腾开发者社区：九月三十日六件套解读　410 TFLOPS 与 95%、360 TFLOPS 与 83%、128 卡超节点、内蒙古数据中心计划。已直接读取。该文为社区作者撰写，非华为或 DeepSeek 官方表述。本页涉及昇腾算子成绩、六件套清单与超节点的内容均以此为唯一来源，未取得一手确认。
二手 · 口径辨析别被参数带偏：读懂 155 万亿与 38 美金　指出单集群与全公司、收入与利润的区别，以及仓库提交数与昇腾验证程度。已直接读取。