106篇文章 · 370719字 · 1235分钟阅读

从153个视频到一套方法论:我用本地AI复盘论文打假

B站专门做学术论文打假的UP主“耿同学讲故事”,他的风格很上头:一本正经地扒论文里的数据造假证据,配上大量吐槽和段子,把枯燥的学术不端问题讲成了相声。 看多了会发现一个问题:他每期都在讲不同的院长、教授、Nature子刊,但反复用的检测手法其实高度相似。只是每次都换了案例、换了段子包装,不容易一眼看出规律。 于是我起了个念头: 能不能把他全部投稿一次性扒下来,用本地AI帮我把这套隐藏的方法论提炼出来? 整个过程走了三步:下载、转写、总结。除了从B站获取公开视频,后面的转写和模型分析都在本地电脑上跑完,没有调用云端AI接口。 准备数据 本地AI内容提炼流水线 这部分其实不是文章的重点,但它决定了后面分析能不能成立。视频要先完整拿到,语音要先转成可检索的文字,最后模型才有材料可总结。 第一步,批量下载全部投稿 先用一个基于yt-dlp的下载脚本,一次性抓取UP主视频列表页的全部视频。下载了所有的视频,在本地进行视频转音频、音频转文字操作。 耿同学封面墙 这里有两个实际坑。 第一个坑是B站风控。投稿列表页不带浏览器cookie直接访问,会被412拒绝。带上cookie之后,脚本才能正常拿到完整投稿列表。 第二个坑是下载策略。脚本第一次跑的时候,我设置成自动挑选最高画质。结果在正式下载前,yt-dlp会先对整个列表里的每一条视频做一次完整探测,导致跑了很久才真正开始下载。后来改成直接指定画质,跳过这一步,效率提升明显。 后面还有一次补漏。先前下载中断过,有些视频没下完整。这里用了yt-dlp自带的下载记录文件,也就是download archive机制:把已经下载好的视频ID写进记录文件,再次运行时自动跳过已完成的,只补齐缺的部分。 最后,155个投稿里成功拿到153个可用视频文件。 第二步,本地语音转文字 视频到手之后,下一步是把语音内容变成文字稿,方便后续做文本分析。 这一步用的是本地部署的语音识别模型faster-whisper,模型是large-v3,全程跑在自己电脑上,不依赖任何在线转写服务。 153个视频,平均单个模型推理耗时不短,累计跑了接近一整天。 中间出了两个挺有意思的乌龙。 一个是重复启动了两个进程。因为任务本身耗时很长,我没意识到之前已经有一个转写进程在后台跑了大半天,又手动开了一个新的。两个进程同时抢占了将近900%的CPU,电脑发烫严重,用上电风扇降温了。发现后赶紧把多余的那个关掉,只留一个继续跑。 另一个是日志假死。Python脚本把输出重定向到文件时,默认是整块缓冲,不是写一行就刷新一次。这导致我盯着日志文件,以为转写卡在了某一集长达一个多小时。实际上程序早就往前跑了十几个文件,只是日志内容还堆在内存缓冲区里没写盘。 后来不再盯日志,而是看实际产出的txt文件数量,才发现进度一直正常。 这个坑挺值得记一笔:监控长时间任务,不能只看它打印了什么,得看它实际产出了什么。 第三步,用本地模型做内容归纳 153份文字稿到手后,发现这位UP主的内容其实很杂。 除了论文打假,他还聊考研上岸率、读博的精神状态、相亲催婚、科研生活,也有不少直播带货式的科普。我粗筛了一遍,真正逐帧分析论文造假证据的硬核内容,大概40篇左右。 之后没有直接让模型“总结耿同学的观点”。那样很容易变成几句空话,比如“要重视学术诚信”“要加强科研监管”“要提升论文质量”。这些话都对,但没有用。 其实真正想知道的是另一件事: 如果把这些视频当成一个样本库,论文的“假”到底应该从哪些角度分析? 于是就先让本地模型做关键词检索和初步聚类,重点看“造假”“撤稿”“图片重复”“数据造假”“临床”“代写”“重复实验”“原始数据”等词反复出现的位置。然后再人工抽查高频案例,避免模型把普通科普内容也混进论文打假里。 跑完之后,一个很清楚的框架浮出来了。 论文的“假”,不是一个点。它不是只有P图,也不是只有数据编造。真正的问题经常是一条链:图片可疑,数据异常,方法写不清,实验不可重复,结论往外跳,作者回应躲闪,最后学校和期刊再用一句“不规范”把事情盖过去。 得出的结论 有了这批文字稿之后,真正有价值的不是复述每一期视频讲了谁,而是把反复出现的判断动作抽出来。最后我把它整理成10层,从最容易观察的图片问题,一直推到论文背后的生产链和回应方式。 第一层,看图片 这是最直观的一层,也是耿同学视频里最常见的入口。 同一篇论文里,图片重复出现。不同论文里,图片重复出现。图片旋转180度以后还能重合。图片翻转、裁剪、调色以后,背景噪点、组织纹理、细胞形态还能对上。 这类问题最麻烦的地方在于,它不需要你完全懂论文的专业方向。你不一定知道这个信号通路是否成立,也不一定知道这个动物模型是否合理,但你能看出来两张图是不是同一张。 尤其是Western blot、细胞图、组织切片、肿瘤照片这些图,背景噪点和纹理就像指纹。它们一旦对上,就很难用“巧合”解释。 很多作者会把这类问题说成“图片误用”。但“误用”这个词只能解释一次,很难解释一串。如果一个团队的多篇论文、多个项目、多个年份反复出现图片重复,那就不是手滑,更像是一种生产方式。 第二层,看数据 假数据常常败在随机性 图片问题最直观,但数据问题往往更致命。 耿同学的视频里,数据统计类分析是很核心的一块。把论文里的原始数据整理出来,看小数点位数是否有跨行、跨列复制粘贴的痕迹,看某几列之间是否存在固定加减关系,看末位数字的分布是否接近随机。 在没有固定取整规则或仪器偏好的连续测量里,真实数据的末位数字通常不该高度集中在少数几个数字上。如果大量数据都挤在某几个末位,就可以用概率论算出这种巧合发生的概率有多低。 这类分析的杀伤力在于,它不是说“我觉得不像真的”,而是把问题转成一个统计学判断:这些小概率事件不应该同时发生。 耿同学吐槽某些论文时,经常会说“下次用随机数生成器”。这句话听起来像玩笑,但背后是一个严肃判断:很多假数据不是因为太复杂被发现,而是因为编得太粗糙。 真实实验数据通常有噪声。它不会那么听话。 第三层,看常识能不能对上 有些问题不需要复杂统计,常识就能先挡一遍。 比如测量精度是否合理,生物学机制是否说得通,实验动物和实验分组是否匹配,疾病和性别是否匹配,样本来源和结论外推是否匹配。 这类交叉验证看起来很朴素,但很有用。 论文最容易出问题的地方,往往是作者只盯着想要的结论,忘了现实世界还有很多约束。数据可以编,图片可以修,段落可以写得很漂亮,但常识有时候会从边角里露出来。 第四层,看原始材料 论文出问题以后,最关键的不是作者怎么解释,而是作者能不能拿出原始材料。 原始图片在哪里?原始表格在哪里?实验记录在哪里?样本编号在哪里?仪器输出文件在哪里?动物实验和临床研究的伦理审批在哪里? 这些东西如果都能交代清楚,很多争议可以继续往下讨论。比如图片是否确实贴错了,统计方法是否可以修正,结论是否需要收窄。 但如果作者只给解释,不给材料,可信度就会迅速下降。 学术争议不是靠态度解决的。你说“我们没有造假”,这句话本身没有证据价值。真正有价值的是原始数据、实验记录和可以被第三方检查的材料。 第五层,看实验能不能重复 耿同学反复讲过一个意思:重复实验不是万能的,但重复不出来的实验一定要警惕。 这句话放在生命科学领域尤其刺耳。 很多生命科学实验确实复杂。样本来源、细胞状态、动物模型、菌群结构、试剂批次、操作人员都会影响结果。问题是,复杂不能变成免死金牌。 如果一篇论文的方法写得很模糊,关键材料拿不到,实验条件说不清,只有作者自己能做出来,别人一重复就失败,那它至少不应该被当成一个坚实结论。 科学研究当然允许失败,允许不确定,也允许后来被推翻。但如果一篇论文从发表那天起就无法被别人验证,它就更像一次性论文。 第六层,看方法设计有没有先天漏洞 有些论文不一定是直接伪造,但实验设计本身就撑不起结论。 ...

一张显卡的寿命:为什么三年后它就不值钱了?

三年前,一张旗舰显卡要加价才能买到。 三年后,同一张卡挂上二手平台,买家问的第一句话往往不是性能怎么样,而是:挖过矿吗?还有没有保?同价位的新卡能不能打? 没人怀疑它还能不能亮机。真正的问题是,它还值不值这个价。 显卡的寿命很容易被误解。很多人一说寿命,脑子里想的是风扇坏没坏、显存爆没爆、还能不能开机。可市场给显卡定价时,看的是另一套东西:同价位有没有更新的卡,软件还支不支持新特性,保修还剩多少,拿它赚钱的窗口期还剩多久。 所以,三年后显卡不值钱,通常不是它坏了,是价格先死了。 一、显卡身上有四种寿命 一张显卡身上有四种寿命 一张显卡至少有四种寿命。 物理寿命,看风扇、电容、显存颗粒、供电模块还能不能稳定工作。这是最朴素的坏没坏。 性能寿命,看同价位新卡出来以后,它还算不算快。显卡自己不会因为过了三年就自动变慢,但别人会变快。 软件寿命,看新驱动、新编码器、新游戏特性、新模型推理框架还支不支持它。AI场景里尤其明显,有些卡不是慢一点,而是显存不够、算子不合适、部署链路不再优先照顾。 资产寿命,看账面上、云市场里、二手平台上,它还能不能卖出一个说得过去的价格。 这四种寿命不是同步结束的。物理寿命常常最长,资产寿命常常最短。一张显卡还能跑游戏、还能剪视频、还能跑小模型,但市场已经不愿意为它的过去溢价买单。 二、新卡一出,旧旗舰就失去旗舰身份 RTX 4090 与 RTX 5090 改变旧旗舰价格锚 先看最容易理解的消费级例子:RTX 4090和RTX 5090。 NVIDIA官方规格里,RTX 4090是24GB GDDR6X,显存带宽1008GB/s,起售价1599美元,Tensor Core AI算力标为1321 AI TOPS。RTX 5090是32GB GDDR7,显存带宽1792GB/s,起售价1999美元,AI TOPS标到3352。 这些数字不应该被简单理解成游戏性能直接翻了多少倍。AI TOPS是特定计算口径下的理论指标,和游戏帧率、本地模型吞吐、真实工作负载之间还有一段距离。可它对二手价格有一个很实际的影响:新旗舰出现后,旧旗舰的价格锚会被拔掉。 旧卡不再只和自己当年的发售价比较。它会被拿去和新一代中高端卡、同代二手旗舰、云端按小时租用的GPU放在一起算账。 买家不会因为你当年原价甚至加价买它,就继续按当年的旗舰身份给它估值。二手市场只关心现在这笔钱能买到什么。 显卡不是古董。它不会因为曾经贵就保值,它会被新一代的显存容量、带宽、功耗、驱动周期和软件特性重新定价。 三、三年这个时间点,卡在几个现实边界上 显卡三年后为什么变成一个价格坎 三年不是一个精确的技术报废点,但它确实很敏感。 消费级显卡这边,保修是一个很硬的边界。NVIDIA对自家Founders Edition显卡的保修期是三年,并且条款明确写着,这个保修只覆盖原始购买者,不延伸给二手购买者。不同AIB品牌会有自己的政策,但对二手买家来说,保修确定性下降这件事本身就会压价。 产品迭代也是一个边界。旗舰显卡通常不会每年换代,但两三年足够让一代新架构、新显存、新DLSS或新编码器进场。到了这个时间点,旧旗舰往往还很强,但它已经不再代表最新体验。 还有一个容易被忽略的边界:心理账户。 第一年,买家愿意为旗舰溢价买单,因为它代表最新。第二年,价格开始回到理性区间。第三年以后,买家开始把它当旧卡看,哪怕性能还不错,也会把风险折进去:风扇寿命、显存温度、矿卡嫌疑、保修缺口、未来软件支持。 这就是为什么很多显卡不是坏了才掉价,而是在确定性变差的时候掉价。 四、数据中心GPU也在算同一笔账 消费级显卡贬值还只是个人买卖。到了数据中心GPU,这件事会变成财报问题。 一张H100、H200、B200或同级AI加速卡,不是几千块的配件。它是云厂商和大模型公司资产负债表上的大额硬件。问题就变成了:这些GPU该按几年折旧? 微软2025年年报里,计算机设备的估计使用寿命是2到6年。Alphabet公开说明,服务器和网络设备通常按6年折旧,并会持续评估技术过时、计划用途和利用率。Meta在2025年把多数服务器和网络资产的估计使用寿命延长到5.5年。Oracle在2025财年把服务器和网络设备使用寿命从5年延到6年。 但亚马逊给了一个反方向信号。它2024年把服务器寿命从5年延到6年,随后又从2025年开始,把一部分服务器和网络设备从6年缩回5年,理由是技术发展加快,尤其是AI和机器学习领域。 这些披露放在一起看,比单独看某家公司更有意思:大公司并没有一个统一答案。有人相信服务器可以用得更久,有人开始承认一部分硬件会更快过时。 数据中心 GPU 的账面寿命和经济寿命 这里要分清两个词。 折旧年限是会计核算方法,用来把硬件成本分摊进财报。经济寿命看的是这张卡还能不能以有竞争力的价格提供算力。前者可以是五年、六年,后者可能被新架构、新能耗比、新租赁价格提前压缩。 公司账上可以慢慢折,市场心里会提前折。 五、AI给旧卡续了命,也给旧卡设了新门槛 AI 让旧卡续命,也让旧卡台阶式失效 AI让显卡市场变得更复杂了。 ...

显卡的“稀疏算力”是怎么把数字吹一倍的?

发布会上,厂商介绍自己产品说:“这张卡有20P算力。” 台下鼓掌,媒体标题写“史上最强”。 但如果你去翻这张卡的官方数据表,会在某些Tensor Core算力项目旁边发现一个不起眼的星号(*),点开脚注可能写着一句话:这些数字采用稀疏(with sparsity)口径,不开稀疏时规格减半。 也就是说,发布会现场说的“20P”,实际稠密算力可能只有10P,甚至更低。这不是哪家厂商偷偷作弊,而是官方规格表里公开写明、但作为读者很容易忽略的口径差异。稀疏算力到底是怎么把数字翻倍的,各家发布会都是怎么报的,你自己该怎么一眼识别。 一、稀疏矩阵:先搞懂“挑重点做事”是什么意思 2:4 结构化稀疏到底在跳过什么 想象一张100道题的试卷,你负责批改。 如果学生认认真真答满了100道题,你就得老老实实判100道。这叫稠密(dense)——矩阵里的每一个格子都有实际数值,硬件必须逐一参与计算,一个都不能少。 但现在硬件支持一种更规整的做法:如果模型权重已经满足每连续4个数里,至少2个是0,硬件就可以跳过这些0,只处理剩下的非零值。于是同样一张卡,理论吞吐量能翻一倍。这套规则在业内有个专门的名字,叫 2:4结构化稀疏(structured sparsity):每4个权重里,至少2个被清零,硬件按这个固定模式压缩权重,再用专门的稀疏Tensor Core路径做乘加运算。 这里有个关键点很容易被忽略:试卷本身还是100道题,矩阵的规模一点没变。稀疏拿到的“2倍算力”,本质上是“跳过一半计算量”换来的相对加速比,而不是芯片真的凭空多长出一倍的晶体管。而且,这活儿不是白捡的——想让权重乖乖满足“每4个里至少2个是0”这个苛刻条件,通常需要专门用稀疏化训练或剪枝去“驯服”模型,很多实际生产模型并不会做这一步,也就吃不到这个加速。这也是为什么行业里有个粗暴但好用的经验:只要数据表里出现“稀疏”字样,这个数字大概率要打对折才是普通任务能拿到的真实水平。 二、稀疏vs稠密算力对照表:以H100、B200为例 这套“稀疏=稠密两倍”的写法,其实不是从H100、B200才开始的,往前翻一代就能找到源头。NVIDIA官方A100规格页上,同一类Tensor Core算力经常以稠密和稀疏两个口径出现:比如BF16/FP16可以看到312 TFLOPS和624 TFLOPS这一组数字,脚注专门标注了“With sparsity”。也就是说,从Ampere架构这一代开始,“稀疏峰值”就已经是NVIDIA官方规格表里的正式口径了,H100、Blackwell只是把这套写法延续了下去。 不用猜,直接看NVIDIA自己的官方规格页怎么写。H100 SXM的BF16/FP16 Tensor Core写成1979 TFLOPS,FP8写成3958 TFLOPS,脚注说明这些数字采用稀疏技术显示,不采用稀疏技术时规格降低一半。换成稠密口径,H100 SXM的BF16/FP16大约是989.5 TFLOPS,FP8大约是1979 TFLOPS。到了Blackwell一代,NVIDIA GB200 NVL72的规格表延续同样的写法,直接把sparse和dense并排列出,GB200 Grace Blackwell Superchip的NVFP4张量算力写成“40 | 20 PFLOPS”,脚注同样注明稠密规格是稀疏规格的一半——这里的40 PFLOPS是稀疏口径,20 PFLOPS才是稠密口径,而且它背后其实叠了两层变化:一层是从FP16/FP8换到更激进的FP4(精度每降一档,算力翻一倍),另一层才是稀疏本身。两层叠在一起,喊出来的最大数字很容易比一张卡在常规模型里能用上的算力高很多。 不止NVIDIA一家这么标。AMD Instinct系列的官方规格页也会把“普通峰值”和“结构化稀疏峰值”分开列:8卡MI300X平台的FP16矩阵算力,官方给的是稠密约10.5 PFLOPS、带结构化稀疏约20.9 PFLOPS;更新的MI355X单卡上,FP16/BF16矩阵算力是稠密2.5 PFLOPS、稀疏5 PFLOPS,INT8则是稠密约5 POPS、稀疏约10.1 POPS。可以看到,AMD的倍率关系和NVIDIA完全一致,都是稀疏正好翻一倍,只是AMD官方页面通常把两栏都摆在明面上,读者不用扒脚注就能看到对比。 稀疏算力 vs 稠密算力,为什么总是 2× 芯片 / 精度 稠密算力(真实基线) 稀疏算力(发布会/宣传常用) 倍率 A100 SXM · BF16/FP16 312 TFLOPS 624 TFLOPS 2× H100 · FP16/BF16 约990 TFLOPS 约1980 TFLOPS 2× H100 · FP8 约1980 TFLOPS 约3960 TFLOPS 2× B200 SXM · FP8/FP6 约4.5 PFLOPS 约9 PFLOPS 2× B200 SXM · FP4 约9 PFLOPS 约18 PFLOPS 2× GB200 Grace Blackwell Superchip · NVFP4 20 PFLOPS 40 PFLOPS 2× AMD MI300X(8卡平台)· FP16 约10.5 PFLOPS 约20.9 PFLOPS 2× AMD MI355X(单卡)· FP16/BF16 2.5 PFLOPS 5 PFLOPS 2× 这里要提醒一句:稀疏加速不是“想用就用”。2:4结构化稀疏要求每连续4个权重里至少2个为零,模型通常需要经过剪枝和微调,才能满足这个模式并尽量恢复精度。不做这一步,硬件的稀疏加速路径就用不上。所以对很多直接部署、没有专门做稀疏化处理的生产模型来说,实际更接近表格左边那一列,稠密算力。 ...

MFU:为什么标称1P的卡,实际只有0.3P在干活?

上一篇聊完“1P算力”到底是什么,初次接触这个概念,可能还会常被问到一句话: “那这1P,跑起来是不是真的能打满?” 答案可能有点扎心:大概率打不满,而且差得不少。 一个标称1P(FP16)的顶级AI卡,真正拿去训练大模型时,能稳定发挥出0.3P到0.5P,就已经算是业内的好成绩了。 更让人困惑的是:打开 nvidia-smi 看,GPU利用率不低,风扇在转,功耗上去了,账单更是一秒没停。但模型每秒吃进去的token,就是比按峰值算出来的少一大截。这中间差掉的0.5P到0.7P,去哪儿了? 一、先认识这个词:MFU MFU,全称 Model FLOPs Utilization,模型算力利用率。这个词是Google在2022年的PaLM论文里正式提出并普及开的,计算公式如下: MFU = 模型每秒真正完成的理论计算量 ÷ 硬件每秒的理论峰值计算量 它问的不是“GPU忙不忙”,而是一件更直接与成本相关的问题:你花钱买来的理论峰值算力里,有多少真的变成了模型前向和反向传播里的有效数学计算。 这里有个容易搞混的地方:MFU算的是“训练模型真正需要的那部分计算”跑了多快,不包括为了省显存而做的“重计算”(rematerialization,也叫activation checkpointing)。那部分计算确实发生了,但只是拿计算换显存,并不产出“新的模型进展”。业内还有个更宽松的指标叫硬件算力利用率(HFU),会把这部分也算进去,数字自然更好看一些。 PaLM论文里正好给了一组可以直接对比的数字:PaLM 540B的MFU是46.2%,HFU是57.8%,两者相差11.6个百分点。这11.6个百分点,就是重计算占用掉、但没有直接产出“新模型进展”的那部分算力——PaLM团队为了拿到更高的可行batch size,主动选择了用重计算换显存,这笔账在HFU里被算成“有效利用”,但在MFU里被刨除了。同一次训练,换一个统计口径,利用率数字能差出十几个百分点。这也是为什么看到“算力利用率”这个词时,第一件事该问的是:这个数字算的是MFU还是HFU? 两者不是一回事,混着比较容易被数字表面的高低误导。也就是说,MFU算的是一笔“最不掺水”的账。 GPU利用率 ≠ MFU GPU utilization ≠ MFU 第一次接触这个话题时会犯一个错:把 nvidia-smi 里的 GPU utilization 当成了MFU。 NVIDIA官方文档对 utilization.gpu 的定义是:在采样周期内,有一个或多个kernel正在GPU上执行的时间占比。也就是说,只要有kernel在跑,它就可能显示“很忙”,但这不代表Tensor Core被充分喂满,更不代表这些计算都在实实在在地推进模型训练。 这有点像餐厅后厨:灯一直亮着,不代表每口锅都在高效出菜。有人在切菜,有人在等外卖单,有人在找调料,后厨确实没闲着,但出菜速度还是上不去。MFU看的是出菜速度,GPU utilization只是看后厨灯亮没亮。 二、真实世界的数字长什么样 通过几个业内公开的训练案例,感受一下差距: 模型/系统 硬件 MFU GPT-3 V100 约21.3% Gopher TPU 约32.5% Megatron-Turing NLG 530B A100 约30.2% PaLM 540B TPU v4(6144卡) 约46.2%(HFU约57.8%) Llama 3 405B 最高16K张H100 约38%–43%(BF16) NVIDIA Megatron-Core 弱扩展基准 H100集群 约42%–50%(模型变大MFU会升高) MegaScale(字节,175B模型,12288卡) GPU 约55.2% DeepSeek-V3(671B MoE,FP8) H800 约21%–23%(不同估算口径) 公开训练案例里的 MFU PaLM之所以被反复拿出来当标杆,是因为它把MFU这个概念系统化了,46.2%在当时是相当亮眼的跃升,代表着“标称1P的卡,实际发挥出了0.46P”。 ...

机器人从“演示”到“量产”:2744家公司里,吃到红利的为什么只有个位数

WAIC 2026上具身智能参展企业一年翻倍、真机超300台,但2744家公司里真正吃到红利的只有个位数——从数据飞轮的启动成本和整机良率的连乘账,看机器人为什么是系统工程竞争最极端的样本。

从芯片到大模型——生态协同能力才是护城河

一、先讲一个今年最好的“芯模协同”案例 今年4月24日,DeepSeek发布V4系列(V4-Pro和V4-Flash),总参数1.6万亿,原生支持100万token上下文。这次发布有一个容易被忽略、但比跑分更重要的细节:昇腾实现了Day0适配——模型发布当天,昇腾超节点全系列产品就完成了支持验证。 更关键的是适配的深度。V4这一代的核心架构创新,是CSA(压缩稀疏注意力)与HCA(重度压缩注意力)的混合交错设计:CSA把每4个token的KV合并成1条再做稀疏筛选,HCA更激进,128:1压缩后直接做全量密集注意力,两种层在网络里隔层交替。配套的还有KV缓存混合精度存储、异构KV缓存管理这些工程细节。这不是“拿一个现成模型移植到另一块芯片上”,而是注意力机制的设计本身就考虑了目标硬件的计算与访存特性——DeepSeek官方文档也确认,细粒度专家并行(EP)方案同时在英伟达GPU和昇腾NPU上完成了验证。 CSA/HCA混合注意力与硬件协同 再加上一个价格信号:DeepSeek官方明确表示,预计下半年昇腾950超节点批量上市后,V4-Pro的价格还会大幅下调——而在此之前,V4-Pro已经把75%的限时折扣转成了永久价格,输入$0.435/百万token、输出$0.87/百万token。芯片的量产节奏,直接写进了大模型的降价路线图。这就是2026年本届WAIC上被反复引用的“芯模协同”叙事的由来。 这个案例确实好。但正因为它太好了,在这一篇里做一件相反的事:给这个叙事踩一脚刹车,看看“能跑起来”和“生态护城河”之间,到底还隔着多少东西。 二、“生态协同”和“单纯能跑”,不是一回事 “单纯能跑” 指的是:模型权重能加载、算子能执行、推理结果数值正确、benchmark能出分。这件事的技术门槛真实存在,但它是一次性的、可以靠攻坚团队突击完成的。厂商发布会上的“完成适配”,绝大多数指的是这一层。 “生态协同” 指的是另一回事:主流框架原生支持、算子库覆盖长尾场景、编译器能自动优化而不是靠人肉调优、出了问题有工具能定位、社区里搜得到答案、第三方开发者愿意在没有厂商驻场支持的情况下自己把系统跑起来。这一层没有发布会,只有日复一日的issue、PR和版本迭代。 打个比方:前者相当于一辆车通过了出厂测试,后者相当于全国有加油站、有4S店、有二手市场、有路边随处能找到的修车铺。买车的人真正依赖的是后者,但发布会只会展示前者。 三、生态成熟度的批判性检验清单 如果你想判断一个算力生态到底走到了哪一步,媒体通稿帮不了你。下面这份清单是一个可用的检验框架,每一条都对应一个媒体很少报道、但工程团队天天面对的现实。 1. 推理适配 ≠ 后训练适配 ≠ 完整预训练 这是三件难度完全不同的事。推理适配只需要前向计算正确、吞吐达标,新闻里说的“已完成适配”绝大多数停在这一层。后训练适配的战线立刻拉长:LoRA微调、SFT、RLHF/DPO、模型量化、蒸馏、检查点格式转换——每一项背后都是一批工具链要重新适配,反向传播、优化器状态、混合精度全链路都不能出错。而完整预训练——几千甚至上万张卡、连续运行数周到数月、checkpoint稳定保存、通信不掉链、编译器和调度器不抽风、节点故障后还能恢复续训——是对整个软硬件栈的终极压力测试。“DeepSeek能在昇腾上跑推理”是事实,但它不等于“昇腾已经能扛起大模型的全生命周期”。V4本身的预训练在什么硬件上完成,官方技术报告里写得很清楚,这个信息差值得每个读者自己去核对,而不是从“适配成功”四个字里自行脑补。 2. CANN对CUDA:目前是“补课”,还不是“超越” 很多人把CUDA理解成一个开发工具,实际上它更像一整套AI操作系统:编译器、Runtime、驱动、算子库、数学库、通信库(NCCL)、Profiling与Debug工具,再加上庞大的第三方生态,共同构成了今天AI开发最成熟的软件平台。CANN是华为对标这套体系的异构计算架构,覆盖图编译、算子融合、内存优化、并行策略。客观地说,CANN这几年进步的斜率很陡。但要认清生态位关系:CUDA有近二十年的积累,全球几乎所有AI论文的参考实现默认写给它,PyTorch的每一个新特性第一时间在它上面验证。CANN目前做的大部分工作,本质是把CUDA生态里已经存在的能力补齐,让开发者迁移时少踩坑——这是必要且艰难的补课,但补课和超越是两个阶段,混为一谈对谁都没好处。 3. 框架适配深度、算子库完整度、编译器成熟度——开发者体验的核心,却几乎没人报道 通常我们看到的是“模型快不快”,而工程团队关心的是另一串问题:PyTorch支持是否完整、动态图有没有暗坑?算子库对主流模型结构覆盖良好,但碰到一个论文里的新算子、一个非标准的attention变体,是不是要自己写Ascend C算子?编译时间是否稳定,图编译器在偏离标准路径后的性能悬崖有多陡?OOM了能不能快速定位到是哪层、哪个张量?PyTorch在昇腾上的支持走的是torch_npu插件路线,而不是上游原生后端,这意味着版本跟随总有时间差。这些才是决定一个工程团队愿不愿意长期使用这套平台的核心,但它们无法浓缩成一条新闻标题,于是在公共讨论里近乎不存在。 4. 迁移成本:从英伟达搬到昇腾,工程团队要付出什么 一次真实的迁移,账单大致包括:环境与驱动栈重建、依赖库逐个排查替换、自定义算子重写、数值精度逐层对齐(同一个模型在两种硬件上输出不完全一致是常态,定位差异来源可能耗掉数周)、性能重新调优(在A卡上调好的并行策略在N卡上未必最优,反之亦然)、以及CI/CD和监控体系的重做。对一个中型团队,这不是“改几行代码”,而是以人月为单位的工程投入。厂商的迁移工具能覆盖多少比例,剩下的长尾要靠多少驻场工程师填,这才是采购决策里真正该问的问题。说到底,企业真正要算的从来不是采购价,而是未来三年的总体拥有成本(TCO)——这些迁移账单不会因为芯片便宜就自动消失,只有当迁移成本持续下降、生态摩擦持续减少,价格优势才能真正转化为规模化部署优势。这一点,正是第一篇TCO讨论在生态层面的延伸。 5. 看不见的软件基建:调试、稳定性、可观测性 profiler好不好用?训练到第37天集群里一块卡静默出错,能不能快速定位到是哪个节点、哪层通信?日志和监控指标的粒度够不够做根因分析?长时间运行的稳定性MTBF是多少?这些“看不见”的能力,恰恰是生态是否真正成熟的试金石——因为它们无法靠一次发布会攻坚补齐,只能靠大规模真实负载长年累月磨出来。CUDA生态里的Nsight、NCCL调试经验、无数StackOverflow问答,都是二十年真实故障喂出来的。这个过程没有捷径。 6. 一个容易被忽略的风险:低价的另一面是什么? 客户在享受“75%降价”和国产算力补贴红利的同时,值得冷静问一句: 我是否正在被绑定进一个相对封闭的技术栈? 如果两年后需要迁回,或者迁向第三种硬件,成本几何?当模型迁移困难、工具替换困难、开发接口差异越拉越大,新平台同样会形成新的锁定效应(Vendor Lock-in)——锁定从来不是靠合同条款实现的,而是靠迁移成本的自然堆积。开源兼容是这个问题的部分答案,但只是部分:开源降低了“理论上可迁移”的门槛,却不自动消除上面第4条列出的那些实际工程成本。开源是生态成长的必要条件,不是生态成熟的终点 ——能否持续维护、能否快速跟进主流框架、社区是否足够活跃、能否切实降低企业迁移成本,这四件事才是开源之后真正的考题。 能跑起来 ≠ 生态成熟 三点五、两个可验证的背景事实 需要注意区分的是“这次WAIC的新进展”和“更早就存在、这次只是被反复提及的背景”。有两件事属于后者,容易被当成新料: 第一,CANN的开源不是WAIC的新闻。“CANN全面开源开放”早在2025年8月的昇腾生态大会上就已官宣。本届WAIC上它被反复提及,是作为既成事实的背景板,不是新进展。 第二,vLLM-Ascend是一个可以自己去看的观察对象。 它是GitHub上真实、持续更新的开源项目(vllm-project/vllm-ascend),有独立的安装文档、发布说明和中文社区支持;同类的还有torch_npu、MindSpore等。与其空泛地说“华为在做生态”,不如定期去看这些仓库:issue的响应速度、版本跟随上游主线的时间差、支持的模型列表增长曲线——生态成熟度不需要相信谁的判断,它是可以被持续观测的。 四、换个视角:本届WAIC的Agent产品群像,在争夺什么? 把镜头从芯片层拉高,本届WAIC(7月17日—20日,上海,1100余家企业、超300款产品全球首发)最密集的火力,其实集中在另一个层面——调度层。 扫一眼产品群像:努比亚发布了AI智能体手机(联合豆包),倪飞的表态很直白——AI手机的下半场要从“功能叠加”走向“原生智能体”;阶跃星辰拿出了全球首个智能体原生操作系统Step AOS,配套的智能体手机STEPX Neo拿了“镇馆之宝”;MiniMax展出了6月开源的M3——原生多模态、百万token上下文,配合MiniMax Code能直接完成编程和调研报告;百度这边,“芯云模体”全栈矩阵发布升级,通用智能体“百度搭子”同样入选“镇馆之宝”,主打自然语言下达任务后自主拆解、调用工具、一站式交付。 Agent调度层:AI时代的安卓/iOS 之争 这些产品形态各异,但争的是同一个位置:未来竞争的不只是模型,而是谁来调度模型——那个理解用户意图、拆解任务、调度底层能力的入口。这个逻辑我们并不陌生——移动互联网时代,安卓和iOS真正建立优势,不是因为内核更先进,而是因为它们掌握了应用生态和开发者入口,硬件厂商再强也要按平台的规则玩。现在同样的剧本在AI上重演:芯片和模型是底层能力,但谁掌握了Agent调度层,谁就掌握了流量分发和价值分配的规则制定权。这也是为什么手机厂商、模型厂商、云厂商会同时挤进这条赛道。 五、Token经济:给“生态能力”一个可量化的商业指标 本届WAIC把“Token经济”列为核心议题之一,这是把前面所有讨论收拢到一起的那根线。 “Token正在成为AI商业的新语言”——这个判断值得认真对待。往下拆会发现,越来越多AI企业本质上在做同一件事:卖Token。算力厂商在卖Token(把单位Token的生产成本压到比客户自建更低,靠规模和降本获利),云平台在卖Token,大模型厂商无论表面上卖API还是卖订阅、本质也是在卖Token,Agent平台还是在卖Token。于是竞争焦点变得非常朴素:谁能更便宜地生产Token、谁能让市场消耗更多Token、谁能把Token消耗转化成实际收入。 这就和第一篇讨论的TCO与单位Token成本接上了。生态能力听起来抽象,但它最终会沉淀为一个可以算的数字:同样一个模型、同样的服务质量,在你这套软硬件栈上,每百万token的全摊成本是多少? DeepSeek把V4-Pro压到输出$0.87/百万token并预告随昇腾950量产继续下调,就是在用价格公开宣示自己这套协同栈的单位Token成本曲线。生态成熟度的所有细节——算子效率、编译器优化、集群稳定性、故障率——最后都会算进这个数字里。Token单价,就是生态能力的财务报表。 单位Token成本构成瀑布图 六、结论:适配成功是起点,不是终点 回到标题的问题。 一个旗舰模型能在国产芯片上完成Day0适配,甚至在架构设计阶段就做了协同优化——这是真实的、值得肯定的进展,它证明这条路走得通。但“走得通”是生态建立的起点,不是终点。一颗优秀的芯片,可以解决算力问题;一个成熟的生态,才能解决产业问题。 ...

理解Atlas 950的“6.7倍算力”:它说明了什么,又没有说明什么

上一篇说到,这次WAIC真正的信号不是某个数字漂不漂亮,而是“系统”能不能跑通。这一篇就从系列里分量最重的硬件说起——昇腾950超节点,7月17日真机首秀,展台前排的队伍绕了一圈,还拿下了大会Superior超越赛道的SAIL最高奖。 先把两个“Atlas 950”分清楚 1024卡展示配置 vs 8192卡路线图 写这篇之前,先得澄清一个容易混淆、而且第一版也没分清楚的地方:WAIC现场展出的真机,和华为路线图里讲的满配版本,根本不是同一个规模。 现场展出的昇腾950超节点,官方口径是“业界最大1024卡规模”:FP8算力1 EFLOPS,FP4算力2 EFLOPS,256TB全局统一内存编址空间,TB级NPU互联带宽,3微秒级RTT时延,走的是“灵衢互联协议”(也就是UnifiedBus)。需要说清楚的是,真机公开展示不等于已经实现大规模商业交付——目前能确认的是这套1024卡系统完整亮相并给出了这些技术指标,至于实际客户部署数量、长期运行稳定性、有效算力利用率和单位Token成本,还需要后续商业项目和第三方测试来验证,这里先按“WAIC 2026公开展示的1024卡配置”这个更准确的说法来称呼它,而不是直接说它是“当前已商用交付的版本”。 而华为此前在路线图里讲过的Atlas 950 SuperPoD满配版要大得多:8192颗昇腾950DT芯片,160个机柜(128个计算柜、32个互联柜),占地约1000平方米,FP8算力8 EFLOPS、FP4算力16 EFLOPS,整机内存1152TB,总互联带宽16PB/s,计划2026年第四季度上市。 WAIC现场真机 路线图满配版 规模 1024卡 8192卡 FP8算力 1 EFLOPS 8 EFLOPS FP4算力 2 EFLOPS 16 EFLOPS 内存 256TB 1152TB 状态 已首秀,公开展示配置 路线图规划,2026 Q4上市 两者规模正好相差8倍,可以看作同一条技术路线下的两个系统规模,但不能混用参数,更不能把满配版的路线图数据直接写成WAIC现场真机的数据。后面所有对比英伟达的“6.7倍”“56.8倍”这类数字,说的都是满配版对NVL144,不是现场这台1024卡真机——这个区分如果不讲清楚,后面的分析就会站不住脚,这也正是很多参数稿容易写乱的地方。 对比英伟达:先弄清楚在跟谁比 “Atlas 950算力是英伟达NVL144的6.7倍”这个说法,最早来自华为2025年公布路线图时给出的对比,当时的完整说法是:总算力约6.7倍、内存容量约15倍、互联带宽约62倍。 对比对象 世代 规模 华为给出的说法 NVL144 2025年路线图对比基线 144颗GPU/机架 满配版算力约为其6.7倍,内存约15倍,互联带宽约62倍 NVL576(Rubin Ultra) 下一代,预计2027年下半年上市 576颗GPU/机架,FP8训练5 EFLOPS 满配版8 EFLOPS对比其5 EFLOPS,多项指标称保持优势 为什么6.7倍不能直接理解成芯片快6.7倍 但这里有个值得注意的地方:“NVL144”这个名字,英伟达自己这一年也在往不同方向延伸。 2025年9月英伟达发布了专攻长上下文推理和视频生成的Rubin CPX,对应的机架级方案就叫“Vera Rubin NVL144 CPX”——单机架AI算力同样标称8 EFLOPS(NVFP4精度),配100TB高速内存,预计2026年底上市。也就是说,“NVL144”这个名字下面,英伟达自己这一年就有不止一种配置,华为2025年发布会上用来做基线的那个“NVL144”,不能不加说明地直接套到2026年所有叫这个名字的新配置上。产品代际、系统定位和精度口径都在变化,“6.7倍”更适合理解成一个特定时间点、特定对比对象、特定厂商口径下的路线图数字,而不是一句可以永久成立的结论。 精度、口径与一个不该轻易下的除法 第一个问题,是精度不能随便横向比。 FP8、FP4这类低精度格式,在不同厂商、不同芯片上的实现方式不完全一样,理论峰值(铭牌数字)和模型实际跑起来的有效吞吐,从来都是两回事。更严谨的表述应该是“按华为公布的系统规格口径,满配版峰值总算力约为其选定NVL144比较方案的6.7倍”,而不是“第三方测试证明Atlas 950比英伟达快6.7倍”——这两句话看着差不多,但严谨程度完全不同。 ...

WAIC 2026最大的信号:AI竞争不再只看芯片,而是看系统

从Atlas 950真机首秀说起,整理这届WAIC里芯片、生态、机器人、治理、资本五条线为什么会在同一周里集中爆发,以及接下来这个系列打算怎么拆。 现场两个画面 常说“这届WAIC参展企业创纪录、展品超过3000件”,但这类描述读完基本等于没读——真正值得记下来的信号是什么呢? Atlas 950 SuperPoD集群(图片来自网络) 7月17日上午,上海世博展览馆华为展台前排起了长队,大家排队不是为了摸新手机,是为了看一台线缆密布、占地极大的“大家伙”——Atlas 950 SuperPoD,第一次以真机形态出现。往展馆深处走,具身智能馆更热闹,314件机器人展品挤在一起,有的在拧螺丝,有的在叠衣服,有的干脆站着一动不动等观众合影。 这两个画面单拎出来,都能写成一条“国产黑科技又上新”的热搜。但连起来看,会得到一个更值得记住的判断: 真正决定胜负的,不再是某一项技术有没有反超,而是能不能把硬件、供应链、软件生态、机器人量产、全球化部署、规则制定权拧成一套跑得通的系统。 会期里几家媒体不约而同的判断 这不是自己脑补的角度。会期这几天转下来,把几家平时报道立场都不太一样的媒体判断整理了一下: 澎湃新闻:标题直接是《告别参数竞赛,AI全链路商业化》,文章里把“集群协同调度、软硬件一体化适配、全生命周期成本控制”列为新的竞争壁垒,单卡参数不再是唯一门槛。 第一财经:把国产算力的这次转折定义为“迈入系统时代”,原话是“决定AI系统能力的关键因素,正从单颗芯片性能逐渐转向整个计算系统的组织效率”。 钛媒体:总结的“六个趋势”里第一条就写着——“‘最强模型’不再是唯一赢家,竞争重心已从参数规模转向如何把模型整合进完整产品体系”。 网易科技:干脆用了“国产算力告别单打,生态组队加速落地”这样的标题,把“单打”和“组队”直接对立起来。 四家媒体报道立场、擅长的领域都不太一样,却在同一周里几乎异口同声,说明这不是哪家媒体的一家之言,而是这届大会自己“长”出来的共识。 “系统”拆开是哪五层 拆开看,“系统”具体是五层叠在一起,每一层都对应着这次会场上一个具体的例子: AI竞争的五层系统 第一层,芯片本身够不够快。 这是最容易被拿来做标题的一层——“8 EFLOPS”“6.7倍算力”这类数字,但恰恰是最容易掺水、也最不该单独拿出来看的一层。 第二层,能不能把几千颗芯片高效互联成一台“大计算机”。 华为这次的说法是8192颗昇腾950DT芯片通过UnifiedBus 2.0连成一个逻辑统一体,但芯片数量堆得越多,互联架构跟不上,理论峰值和实际吞吐之间的差距只会越拉越大。 华为昇腾950超节点(图片来自网络) 第三层,有没有软件生态和大模型愿意为它专门改架构。 DeepSeek-V4的技术报告里提到部分模型架构是“针对昇腾推理协同设计”的,这种深度适配比单纯“能跑起来”难得多,也是这一层真正的门槛。 第四层,机器人这类硬件产品能不能从展会演示走到工厂真交付。 具身智能馆里314件展品看着热闹,但全行业2744家具身智能企业里,这次真正参展的只有200家,能拿到真实市场流量的更是只有个位数——门槛在这一层体现得最直接。 第五层,能不能把订单和规则谈到海外去,又不撞上出口管制这堵墙。 昇腾950这次拿到了韩国、马来西亚等地的采购意向,但美国商务部同一时间发布指导意见,认定昇腾910B/910C/910D违反出口管制、全球范围禁止使用——这一层已经不只是技术问题。 任何一层掉链子,前面攒的优势都可能白费,这也是“系统”这个词比“参数”更适合形容这次WAIC的原因。 系列地图:接下来六篇分别讲什么 接下来这个系列,就沿着这五层往下拆,一篇看一个维度: 篇目 核心问题 硬件篇 Atlas 950的参数该怎么看,“6.7倍算力”背后藏着什么口径问题 生态篇 DeepSeek和昇腾的协同适配,是不是等于国产生态已经跑通 机器人篇 从“演示”到“量产”,为什么这个赛道正迅速分化成极少数头部玩家 治理篇 中国牵头成立的WAICO,为什么是“全球首个AI政府间国际组织”这么重的分量 资本篇 二级市场这波“概念股”行情,钱到底在为什么投票 收官篇 给国产算力路线出五道题,作为未来一年的验证清单 WAIC 2026系列地图 为什么是现在写 之所以是现在写,是因为这几条线这次第一次挤在同一个时间点集中爆发。光是芯片这一层,同台亮相的就不止华为一家: 企业 这次带来的产品 华为 Atlas 950 SuperPoD,8192颗昇腾950DT芯片真机首秀 阿里 真武M890×磐久AL128超节点,首次公开展示 东方算芯 首发DF1000芯片 中兴 联合多家国产厂商推出Matrix超节点 壁仞科技 新品同台展示 沐曦股份 新品同台展示 十余家企业同时把“超节点”级别的产品摆上台面,华泰证券干脆把2026年定义为“国产超节点元年”。与此同时,DeepSeek和字节跳动的适配、锁单消息几乎同步曝出;机器人企业一边宣布量产下线,一边被曝出行业头部效应加剧;中国牵头成立的世界人工智能合作组织(WAICO)又把这一切拉高到了国家层面的博弈——这些信号单看都不算新鲜,但同时挤在一周之内发生,就值得多写几篇,慢慢拆。 ...

xAI开源Grok Build,代码里的codex/opencode血统藏不住

7月15日,xAI 把 Grok Build(也就是 grok 命令行工具)的源码放到了 GitHub 上,仓库地址 xai-org/grok-build。README 第一句话说得很直接:“SpaceXAI’s coding agent harness and TUI”——xAI 内部把这套东西挂在 SpaceXAI 名下。 这篇文章不打算复述“xAI 又开源了什么”这种通稿式的内容,而是把仓库拆开看:代码从哪来、架构怎么分层、这次开源发生在什么时间点、以及“开源”这两个字在这里到底是什么意思。 一、代码溯源:codex 和 opencode 的血在这里 仓库根目录的 THIRD-PARTY-NOTICES 文件里有一句话写得很清楚:这个仓库包含 “in-tree source ports”,明确点名了 openai/codex 和 sst/opencode 的工具实现。更具体的说明放在 crates/codegen/xai-grok-tools/THIRD_PARTY_NOTICES.md 里——这是给 codex 和 opencode 移植代码专门写的一份notice,里面附带了完整的许可证文本和 Apache 协议 §4(b) 要求的“变更声明”。 Apache 2.0 的 §4(b) 条款要求:如果你修改了一份 Apache 许可的文件,必须在文件里注明“这份文件被修改过”。换句话说,xAI 不是简单引用了这两个项目的接口或者协议,而是直接拿了源码进来改,改完之后按协议要求留了痕迹。 这一点值得说清楚的是它的性质——这不是抄袭,因为 codex 和 opencode 本身也是开源项目,License 允许这么做;但它说明一件事:xAI 在 agent 的“工具层”(terminal 执行、文件编辑、代码搜索这些具体能力)上,没有从零设计,而是站在两个已经跑通的开源实现上做二次开发。这是效率选择,不是能力缺陷,但也说明 coding agent 这个赛道走到今天,底层工具调用的实现已经开始趋同——大家在复用相近的工具层模式,只是壳不一样。 如果想验证到底改了多少,值得做的事情是把 xai-grok-tools crate 里的具体文件和 codex/opencode 对应源文件拉出来做 diff,而不是只看 NOTICE 文件的自述。我实际 clone 了三个仓库做了一遍: ...

KV Cache:每读1个token,就要交一笔“显存税”

本文是「术语解构」系列之一。上一篇《上下文窗口:标称 1M 的 token,为什么 32K 就开始变笨》讲了模型“读不进去”的问题,结尾留了:KV Cache 出场一次,就吃掉了 64GB 显存。这一篇兑现承诺,拆这张“草稿纸”。 先纠正上一篇的一个数字。当时写的是:一个32B模型在1M上下文满载时,仅KV Cache就需要64GB以上显存。 在这篇中把公式摆出来,你会发现“以上”两个字有多克制——按Qwen3-32B的公开架构参数算,是256GB。 一台24GB的MBP,别说1M,把上下文开到128K,光这张草稿纸就要32GB,模型本体还没算,机器已经装不下了。 这就是本地部署时候都遇到过的两个现象的共同根源:上下文长度往大调,内存肉眼可见地飙升;对话越聊越长,生成越来越慢。 今天来看:KV Cache到底是什么、这笔显存账怎么算、以及行业和你各自能拿它怎么办。 一、KV Cache是什么:不是优化技巧,是生成机制本身 没有 KV Cache 时,每生成一个 token 都要重算全部前文;有 KV Cache 时,把 K/V 草稿纸存下来复用。 之前在显存篇讲过大模型推理分两个阶段:Prefill(把你的输入一次性读完)和Decode(一个token一个token地往外吐)。 问题出在Decode阶段。当Transformer生成每一个新token时,都要通过注意力机制“回看”前面所有的token。而回看的原材料,是每个token在每一层算出来的两组向量:K(Key)和V(Value)。 现在做一道选择题。生成第1000个token时,前面999个token的K和V从哪来? 方案A:现算。把前文999个token从头再过一遍模型。生成下一个token时,再过一遍1000个。每个字都要重算全部前文——计算量随长度平方增长,长对话会慢到不可用。 方案B:存下来。第一次算出来的K和V留在显存里,之后每个新token直接查表。代价是:这些向量得一直占着显存。 方案B就是KV Cache。它不是某种可开可关的“缓存加速”,而是所有主流推理框架的默认工作方式——没有它,长文本生成在算力上根本不成立。 所以KV Cache的本质一句话就能说清:拿显存换算力。草稿纸这个比喻的准确之处在于——你可以不打草稿,但那样每一步都得心算全部前文;打草稿快得多,只是纸会越用越厚。 它和模型权重还有一个关键区别:权重一次加载、所有请求共用一份;KV Cache 是每个会话、每段上下文各有一份,而且随长度一路长大。这个区别,是理解后面所有账目的钥匙。 二、算一笔明细账:显存税的税率是多少 KV Cache 显存占用:随上下文线性膨胀,与内容无关 这笔账有公式,而且不难: 每个token的KV Cache=2(K和V两份)× 层数 × KV 头数 × 每头维度 × 每参数字节数 拿两个公开架构参数的模型代进去(FP16 精度,每参数 2 字节): ...