FIELD NOTES / 企业 AI 落地研究 · 2026.10.25

AI 好不好,
不只取决于
知识库。

从一段“忘记技巧、积累数据”的演讲出发,重新判断企业该积累什么、先做什么,以及怎样证明 AI 真正创造了价值。

核心判断 · 本文综合

知识库能提供业务事实。
任务定义决定做什么。
评测决定能否相信。
组织和市场决定能否兑现。

13 项主张核查 · 10 项外部资料
可调成本模型 · 30 天试点方案

01

这段话最有价值的部分,应该保留。

把注意力从追逐工具转向业务、数据与持续实践,是合理方向。但“有知识库就领先”“提示词都没用”“人人模型一样”,把复杂条件压成了口号。

保留方向

从自己的真实流程开始

找一项频繁发生、结果可检查的任务,整理它真正需要的资料。把输入、判断、执行和复核拆开。

纠正因果

数据不是收益保证

能检索、能回答、有人采用、业务改善、产生现金,是五个不同结果。前一步通过,不能证明后一步。

转成行动

建一个能发现错误的闭环

先固定真实问题、正确依据和基准成本,再让 AI 参与。每次失败回到来源、流程或权限上修复。

本报告的替代命题:企业可持续积累的,不只是文件数量,而是可追溯的业务事实、可执行的工作标准、真实结果反馈,以及把这些接入任务的能力。这是分析框架,不是已验证的收益公式。
素材是什么?哪些信息还不知道?

输入是一份用户提供的演讲文字。没有原始视频、演讲者身份、演讲日期、课程材料或所提曲线图。本文研究其主张,不猜作者。保留“Image 2”原称,不推定具体产品;“今年”“两年前”不换算成确定年份。叙述里“品味与意图”插在五点之中,本文将它放入能力和目标一节,不强行修正演讲编号。

02

逐条检查:哪些能用,哪些不能直接信。

以下“原意”是压缩转述,不是逐字引文。标签评价的是论断的证据和适用范围,不评价演讲者。

显示全部 13 项

需改写01

原意 · 知识库决定 AI 有多好

重要,但不是唯一决定因素。

结果同时受任务、模型、工具、权限、数据质量、人工核验和工作流程影响。顾问实验中,直接使用 GPT-4 处理指定任务也可获益;收益不以先建企业知识库为前提。 [S2]

怎么验证:对同一批任务比较:现有流程、AI 无私有资料、AI 加经核验资料。

需改写02

原意 · 大家的模型能力一样

共同可购买,不等于实际能力相同。

模型版本、推理预算、上下文限制、连接工具、系统提示和可见数据都可能不同。即使用同一模型,系统效果也可不同。 [S7]

怎么验证:冻结版本与工具配置,比较质量、时间、成本和失败类型。

需改写03

原意 · 提示词和实操都会被抛弃

操作形式可能过时,任务表达仍重要。

按钮位置、特定口令可替换;目标、约束、证据、例外和验收标准仍要有人定义。一次模糊生图成功不能证明所有提示技巧失效。 [S7]

怎么验证:模型升级后,用原评测题重跑,再删掉没有增益的复杂提示。

待核实04

原意 · 进化以天计,社会消化以年计

这是演讲的方向性概括。

原图、横纵轴、量纲、样本与日期均未提供。不能把两条曲线的面积叫市场规模,也不能据此保证某行业有利润。 [S8]

怎么验证:分开跟踪模型任务通过率、组织实际采用率和现金结果。

需改写05

原意 · AI 是杠杆,原来不行就不行

AI 可放大能力,也可能降低技能门槛。

客服研究里经验少、技能较弱的员工受益更大。企业原有商业模式是否成立,和个体能否借助 AI 提升,是两件事。 [S1]

怎么验证:分别验证任务能力提升和真实客户购买,不用其中一个代替另一个。

待核实06

原意 · 停业两个月,省一百万至两百万

保留为演讲者转述的未核案例。

缺原始访谈、账目、业务范围、对照情景及复业结果。避免损失与减少支出可能重叠,不能直接相加。

怎么验证:重建继续营业、缩减经营、停业三种情景的现金流与客户流失。

需改写07

原意 · 品味与意图是永恒竞争力

可操作化,但“永恒”无法证实。

品味可转成质量标准与取舍;意图可转成明确目标、资源投入和持续执行。仍需客户价值、渠道、成本和信任。原文把 intent 与 ambition 混用,不能当同义术语。

怎么验证:给出好坏样本,匿名评审,观察客户使用、付费与续用。

可保留08

原意 · 拆解业务,追求人机结合

适合作为起步原则。

先按任务边界和错误后果分工。纯自动化在有稳定规则、低风险、可回滚任务中仍可能合理,不必永久停留在人审。 [S2]

怎么验证:列输入、步骤、负责人、验收、例外与回退。

需改写09

原意 · 一切数据化,能整理的都整理

按价值、授权与维护成本选择数据。

没有使用场景的收集会增加隐私、过期和维护负担。本文建议:会议纪要区分讨论、已批准决策、负责人和到期日。

怎么验证:从一个高频流程所需的最小资料集开始。

需改写10

原意 · AI 只能认识文字和图像的平面世界

这已不是准确的能力边界。

怎么验证:按具体任务验证,而不是简单给电商、制造业排高低。

需改写11

原意 · 纯自下而上才算上道

一线探索需要管理层提供条件。

本文建议:一线发现场景,管理层确定目标、预算、数据权限和责任;统一标准,允许员工报告失败。风险管理需要明确责任和控制措施,可参考 NIST 框架。 [S9]

怎么验证:评估复用率、异常处理、实际任务质量,不按提示词数量考核。

待核实12

原意 · ADHD:Aim / Do it yourself / Hit / Do together

按演讲者自定义口诀保留。

未提供出处与验证;不把它当医学 ADHD,也不把 Hit 擅自解释为成熟管理方法。原文编号存在插入,本文按五个主题重新编排。

怎么验证:将每一步落实成可观察的行为与结果,避免用缩写替代过程。

待核实13

原意 · 内训、私董会能唤醒组织

这是服务提案,不是效果证据。

结尾同时承担课程总结与商业推广功能。这不自动否定内容,但需要单独核查交付、行为变化、经营结果和费用。

怎么验证:先看真实任务的前后变化,再决定是否购买后续服务。

03

研究没有给出“所有人都会更快”的答案。

客服 · 分阶段引入

+15%

每小时解决问题数

5,172 名客服的数据中,平均生产率提高;经验少、技能较弱的人在速度和质量上受益。最高技能组质量略降。[S1]

采用 2024 年 v2。旧版 5,179 人、14% 与此版本不可混写。不能把这一指标改写为利润增加 15%。

顾问 · 随机实验

任务边界不同

同一工具,效果可反向

758 名顾问的实验,在 AI 能力范围内完成任务更快;边界外的任务中,使用 AI 的人答对概率低 19 个百分点。[S2]

本文使用 2026 发表版本。研究不是当前全部模型的能力排行榜。

开发 · 2025 小样本实验

耗时 +19%

16 名熟悉成熟仓库的开发者做 246 项任务,允许用早期 2025 工具时平均更慢;参与者在实验后自估用 AI 加速约 20%。[S3]

2026 后续研究出现选择和计时偏差,作者认为可能已改善,但无法可靠量化。不可拿旧结果否定今天所有编程 AI。[S4]

共同启示:不要问“AI 有没有用”就结束。要问:对谁、在哪个任务、使用哪个版本、以什么质量门槛、计入多少复核与返工成本?这几项应一起记录。短期任务表现与长期学习也应分开观察:定期安排不使用 AI 的独立任务,检查员工是否仍能发现关键错误。
04

模型进步与企业收益之间,还有多次转化。

原演讲的“双曲线”没有数据依据。这里用非定量流程图解释落地间隔,不绘制虚构的增长曲线。

1
模型在测试里能完成需要任务通过率、失败类型和版本记录。能力提升不等于已经接入企业工作。
2
系统在真实条件下可用需要正确资料、工具连接、权限、稳定运行与异常回退。演示成功不等于持续交付。
3
员工愿意用,并把它用在流程中需要工作方式调整、时间投入和责任分配。培训出勤不等于使用习惯改变。
4
产出达到业务要求需要客户或业务负责人验收。更快生成草稿不等于更快完成合格任务。
5
价值转成可确认的收益需要实际减少支出或增加有毛利的订单,同时扣除建设、维护、复核和事故成本。

这是建议性的分析顺序;现实会反馈、回退或并行。互补投资与生产率滞后的研究提供解释线索,但不能保证每个项目最终跨过全部环节。[S8]

间隔可能带来机会

客户有明确任务、愿意为结果付费,并且现有方案不能满足要求时,接入、清洗、培训和流程改造才有可验证的价值。

间隔也可能代表不可行

收益不足以覆盖改造、责任或获客成本时,模型再强也不能自动形成好生意。把“落地慢”直接推成“市场大”,缺了支付与经济性验证。

05

先分清四种资料,再谈“搭知识库”。

类型回答什么例子与更新主要检查
文档知识库规则、原因、经验SOP、售后政策、产品说明;有版本与责任人来源是否可靠,是否过期或相互冲突
结构化数据库当前是多少、属于谁库存、订单、退款;按业务事件更新字段定义、单位、时间点、实体 ID、完整性
事件与决策日志发生了什么、谁批准工具调用、会议决定、异常处理、客户反馈时间顺序、状态、权限、可追溯性
评测集系统这次是否变好冻结的真实问题、证据、标准答案、拒答条件覆盖典型、边界、错误输入和无答案问题

会议录音不是已批准事实。纪要中“有人提出停产”“老板同意停产”“财务测算已确认”“实际已停产”必须分开记录。动态数据的价值来自可验证的状态变化,不来自转写字数。

每条业务知识至少保留

来源与定位、事实或规则、生效日期、适用对象、责任人、权限范围、版本与失效条件。

订单和财务指标额外写清统计口径、币种、时间区间和数据截止时点。数值查询与求和尽量由数据库或确定性程序完成,AI 解释结果。

独有数据何时才形成优势

数据与高价值任务相关,有授权,别人不容易获得,并且能持续转化为更准确的判断或更好的交付。

重复公开资料、没有来源的 AI 总结、无法更新的扫描件,即使数量很多,也未必增加竞争力。少量独有资料也不自动构成不可复制优势。

知识管理也不应等同于堆积文档:企业需要区分非结构化知识、结构化业务数据、运行事件日志和评测数据,并建立数据更新、权限控制、结果核验与错误反馈的闭环。

一个最小检索闭环

A
原始资料 → 核验与权限保留原文,不让摘要替代来源;同一版本只有一个事实真源。
B
检索 → 引用 → 回答RAG(检索增强生成)先找到相关材料,再将材料提供给模型。它不保证检索正确,也不保证模型遵从证据。[S5]
C
人工抽查 → 真实结果 → 修订记录查不到、引用错、理解错、执行错四类问题。修改规则或索引后,重跑同一批评测题。

长上下文也不能替代检索和评测;信息能放进去,不代表一定被正确使用。旧研究的具体失败幅度需要在当前模型上复测。[S6]

哪些情况下先不用建复杂知识库?

材料很少且稳定时,先用人工挑选的来源包;只查精确库存时,先接受控数据库查询;稳定计算与表单校验优先确定性规则。需要学习固定风格或行为时才评估微调。不要把 RAG、长上下文、数据库查询、微调和模型训练当成同一个动作。

06

以任务选方案,以后果定权限。

数字化程度高,通常更容易接入;错误可逆、结果可检查,通常更适合提高自动化。它们是两个不同维度。

数据完整 × 易纠正

先小范围自动执行

例:内部工单分类、草稿格式检查。保留日志、抽样复核和回退;低风险不代表不检查。

数据完整 × 后果重大

分析可自动,批准留给人

例:停业、裁员、价格调整、大额退款。系统可以提供证据与选项,责任人核对后批准。

数据缺失 × 易纠正

先补记录,再做助手

例:门店咨询没有标准分类。先采集少量真实样本、定义字段;不要直接购入庞大平台。

数据缺失 × 后果重大

先界定任务和安全条件

例:缺现场传感证据的机器控制。用模拟、离线分析或辅助建议起步,不让文本模型直接操作危险设备。

把“业务拆解”写成一张可执行任务卡

示范任务卡,不代表已部署系统;改变业务时须重写权限和验收。

07

不用停止学习,要改变学习对象。

按需更新的操作知识

界面按钮、特定模型格式、特定版本参数、为了绕开旧缺陷而写的长提示。用到时查官方资料,升级后用评测决定是否保留。

值得反复练习的能力

选择有价值的任务,定义好结果,识别证据不足,拆解业务,理解数据口径,设计对照试验,并对客户结果负责。

上下文工程指配置模型当前可见的信息,包括指令、资料、工具结果和状态。它扩大了提示词的范围,并没有取消清楚表达任务的必要性。[S7]

请完成【具体任务】,供【谁】在【场景】使用。 只使用【允许的来源】,按【有效日期 / 口径】判断。 成功必须满足【可检查的标准】;不可进行【越权动作】。 资料缺失或冲突时,列出缺口,不补造事实。 输出【交付格式】,把事实、推断、建议分别标明。 先给可核验结果;由【负责人】检查【关键项】后再执行。

这是任务说明骨架,不是通用神奇提示词。能否改善结果,需要同题对照。

“品味”和“意图”怎样变成可检查的能力?

品味 → 质量标准

给出合格和不合格样本,解释差别;让同事匿名判断是否符合目标用户需要。

意图 → 目标和投入

写清要解决的问题、愿意花的时间、预算上限与放弃条件;用行动记录验证。

经验 → 可迁移反馈

把失败原因写回规则与评测集;保留版本,避免把一次成功当成普遍规律。

08

五个“心法”,改成五项管理动作。

主题负责人和动作观察证据停止或修正条件
有目标,愿意投入业务负责人选一个问题;写预算与范围谁受益、现有损失、可联系的使用者没有具体用户或没有明确问题,先澄清
AI 辅助业务与决策负责人提供备选方案;财务复核关键口径对照基线、假设、结果和责任记录结论依赖未知数据,暂不执行
业务拆解与人机分工一线和流程负责人共同写任务卡合格率、异常率、全流程用时复核和返工抵消节省,调整流程
相关数据持续维护数据负责人维护来源、版本与权限引用正确、时效有效、无越权检索发现污染或泄露,隔离问题源并回退
一线探索与共同标准管理层给时间和边界;员工共享可复现案例自愿使用、跨人复用、真实问题减少只统计调用次数、提示词数,改考核指标
组织建议:管理层确定目标、资源、数据边界和责任;一线提出任务、实验和改进。让员工报告失败,不把“不会用 AI”当羞辱工具。演讲中的“骂醒”是表达方式,不是已验证的组织干预方法。
10

交互试算:省时间与省现金,分别算。

评价成效时,必须区分节约工时的估算价值、实际减少的现金支出和扣除实施成本后的净收益。

下方默认值是教学假设。只分析已通过质量门槛、可用 AI 处理的那部分任务;其余任务按原流程处理,未节省的时间不记收益。所有输入只在当前页面内计算。

修改参数(每月口径)

工具费须按当前处理量估算,含按量计费;改变任务量后须同步更新。风险调整后月度现金估算扣除了预期错误损失,不能当作实际现金流水。“AI 后人工分钟”包括操作、必要等待和返工;“额外复核”不可重复计入。“维护”如是既有员工的时间,应另记机会成本,不冒充新增现金支出。错误损失填相对原流程的新增预期损失;本模型不支持把风险改善作为负支出抵扣。

教学示例结果

可节省 50 小时 / 月;对应时间价值 4,000 元 / 月。兑现比例为 0%,所以风险调整后月度现金估算为 −1,000 元 / 月,首月为 −7,000 元。

处理量 = 总任务数 × 覆盖率
净节省小时 = 处理量 ×(原分钟 − AI 后人工分钟 − 额外复核分钟)÷ 60
时间价值 = 净节省小时 × 人工机会成本
可兑现节约 = max(时间价值, 0) × 可兑现比例
风险调整后月度现金估算 = 可兑现节约 − 工具现金支出 − 维护现金支出 − 增量错误损失
首月风险调整后现金估算 = 风险调整后月度现金估算 − 一次性投入

若时间价值为负,页面单独提示额外工时,不自动把它当新增现金支出。回本期仅在风险调整后月度现金估算为正时计算,假设每月保持不变。新增销售、毛利变化、税费、融资、学习成本和停业影响不在此模型内。它不是会计利润或财务预测。

11

30 天,只证明一条流程是否值得继续。

以下时间和阈值都是试点建议,不是研究结论。先约定质量与风险门槛,再比较时间和成本。

第 1—3 天

选任务,冻结基线

选高频、可检查、可回退的任务。记录现有流程全耗时与错误。确定负责人、预算、不可执行动作。

产物:一张任务卡、基准数据和停止条件。

第 4—10 天

只整理所需数据

为该任务建立最小资料包,去重并补日期、来源和权限。建议先收集 30—50 道真实题,另保留一批未用于调试的题。

产物:来源清单、标准依据、过期与冲突样例。

第 11—20 天

运行受控对照

比较现有流程、AI 无私有资料、AI 加已核验资料。随机分配相近任务,记录版本和全部人工时间;质量最好由不知道组别的人评价。

第 21—30 天

小范围使用,再决定

通过离线门槛后,在小范围真实流程中试用。观察采纳率、返工、异常与实际现金影响;保留原流程以便回退。

产物:继续、缩小范围或停止的书面结论。

验收看这六项,不看上传了多少文件

维度计算与记录防止误判
检索需要的证据是否出现在返回材料中找得到不等于答得对
回答事实准确、引用正确、资料缺失时合理拒答流畅度不当正确率
执行是否遵守权限,异常是否正确转人工测试不发生事故不等于已证明绝对安全
效率含操作、等待、复核、返工的总人工时间只算生成秒数会高估收益
采用合格任务的实际使用和持续复用登录、培训出勤和生成数量不是采用结果
经济实际减少的支出、增加的贡献与全部增量成本产出、客户验收、付款与续用分别记录
建议停止条件:出现越权或资料泄露,立即停用相关能力;关键答案错误无法通过边界收敛,缩小任务范围;质量未达标,不因更快而上线;净节省时间为负且没有被确认的质量收益,先修流程。小样本用于筛选与发现问题,不能给出普遍收益率。
12

证据、来源与本次覆盖范围。

  1. S1
    Generative AI at Work (新窗口打开)

    Brynjolfsson、Li、Raymond|2024-11-06,arXiv v2

    分阶段引入客服辅助工具;5,172 名客服,平均每小时解决问题数增加 15%。这是单一业务环境,不是所有企业的收益预测。

  2. S2
    Navigating the Jagged Technological Frontier (新窗口打开)

    Dell’Acqua 等|2026-03-11,Organization Science

    758 名顾问的随机实验。能力边界内更快、完成更多任务;边界外任务答对概率下降 19 个百分点。实验采用当时的 GPT-4。

  3. S3
    Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (新窗口打开)

    Becker 等 / METR|2025-07

    16 名开发者、246 项真实任务;允许使用早期 2025 工具时平均耗时增加 19%。样本较小,集中在熟悉的成熟仓库。

  4. S4
    We are Changing our Developer Productivity Experiment Design (新窗口打开)

    METR|2026-02-24

    后续数据存在人员、任务选择和计时偏差。作者认为工具可能更有帮助,但这些数据不足以可靠估算当前增益。

  5. S5
    Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (新窗口打开)

    Lewis 等|2020,v4 修订于 2021

    RAG 的原始研究:将参数化模型与可检索外部记忆结合。论文训练了相关组件;企业日常更新检索文档并不等于更新模型权重。

  6. S6
    Lost in the Middle: How Language Models Use Long Contexts (新窗口打开)

    Liu 等|2023-11-20,v3

    研究在特定长上下文任务中观察到位置影响。说明应测试信息是否被用到,不证明所有新模型仍有同样幅度的问题。

  7. S7
    Effective context engineering for AI agents (新窗口打开)

    Anthropic Engineering|2025-09-29

    厂商工程经验,强调上下文、工具和检索配置。可作为设计参考,不是企业 ROI 的随机实验。

  8. S8
    The Productivity J-Curve: How Intangibles Complement General Purpose Technologies (新窗口打开)

    Brynjolfsson、Rock、Syverson|2018 工作论文 / 2021 发表

  9. S9
    Generative Artificial Intelligence Profile / NIST AI 600-1 (新窗口打开)

    NIST|2024-07-26

    风险管理参考,支持按场景做评测、治理与监测。不是认证或法律合规意见。

  10. S10
    Gemini Robotics brings AI into the physical world (新窗口打开)

    Google DeepMind|2025-03-12

今天可做的一步:从一个真实流程选 10 个过去的问题,把“正确答案来自哪里、如何验收、错了由谁接手”写清楚。先验证这 10 题,再决定需要扩充哪一类资料。