106篇文章 · 370719字 · 1235分钟阅读

Prompt实战手册:20个可以直接复制的WorkBuddy指令模板

WorkBuddy 实战手册 · 第2篇 上一篇里,我提到一个心法:把你脑子里那套隐性标准,翻译成显性约束。 “帮我写个报告”——隐性标准是“我想要一份看起来靠谱的、领导能看的报告”,但 AI 读不懂“靠谱”和“能看”。它只认你写出来的东西:格式、语气、篇幅、结构、约束。说白了,一条好指令要回答四个问题:做什么、基于什么做、交付什么、不能怎么做。 这篇就把那个心法落地。20个指令模板,覆盖最常见的办公场景,每个都能直接复制到 WorkBuddy 的输入框里用。用完之后你会理解一个规律:好指令不是写得多,而是写得准。 写在前面的 AI 工具多到挑不过来,但有一个问题很少有人提:怎么才能让 AI 替你干活,而不是替自己发挥? 答案很简单——你得把它当“自己人”。把你的素材、数据、文档喂给它,它才能用你的东西干你的活。否则它就只能凭自己的理解去猜,猜出来的东西看着像,但不是你的。 WorkBuddy 解决这个问题的方式很直接:连接器。 在对话框里,通过连接器打通你的工作生态——腾讯文档、钉钉、腾讯会议、IMA 知识库(这个后面会专门讲)、QQ 邮箱、飞书、企业微信、Notion、GitHub……你的素材在哪里,它就连接哪里。甚至可以自定义连接器,对接你自己的系统。 连接好了之后,AI 读的是你的数据,用的是你的素材,产出的结果自然也是你的——不再是一份“看起来还行但和我没关系”的通用内容,而是一份带着你的真实信息、你的业务语境的成品。 把数据喂进去,AI 才能真正替你干活。这步不做,后面的所有技巧都白搭。 一、指令公式:四要素拆解 好指令的四要素:目标、输入、输出格式、约束 先记住一个公式,后面所有模板都踩着它走: 目标 + 输入 + 输出格式 + 约束 要素 含义 示例 目标 你要它做什么 写一份周报 输入 它基于什么材料来做 上传的项目进展文档 输出格式 你想要什么格式的结果 Word / Excel / PPT 约束 风格、篇幅、语气、限制 语气正式,不超过1500字,不要编造数据 四要素不全,产出必打折。少了“输出格式”,它可能只给你一段纯文字,而不是你想要的 Word 或 Excel 文件。少了“执行约束”,语气、篇幅、结构就会变成 AI 自己猜。 下面的20个模板,每一个都踩准了这四个要素。你可以直接用,也可以根据自己的实际情况替换其中的关键词。 二、文档写作类(模板1-5) 1. 项目周报 1 根据我上传的本周工作记录,帮我写一份项目周报,包含三个部分:本周工作总结(列出3项已完成的关键任务及成果)、下周工作计划(列出2项重点工作及预期目标)、需要协调的事项(1项,附建议解决方案)。语气正式,适合发给领导看,突出结果和进展,不要写成流水账,Word格式输出。 产出:一份结构完整的 Word 周报,三个板块都有标题和内容。 ...

腾讯WorkBuddy上手实测:从下载到交出第一份周报,10分钟

WorkBuddy 实战手册 · 第1篇 我见过太多人下载了 WorkBuddy,打开,盯着空白界面看了 30 秒,关掉。 这不怪你。大部分 AI 工具的问题不在功能,而在入口:你知道它能干活,但不知道第一步该干什么。 这篇就是那个入口。从下载安装到让它交出第一份 Word 周报,实测 10 分钟。跟着做就行。 一、下载安装:电脑端认准官网 WorkBuddy 从下载安装到第一次可用的 5 步流程 WorkBuddy 有电脑端和手机端。电脑端是完整功能的载体——文件操作、多任务并行、代码开发这些核心能力全在桌面版。手机端定位是移动指挥所,不依赖电脑也能派任务(后面会专门讲)。 电脑端:必须去官网下载。 https://www.codebuddy.cn/work/ 页面会自动识别你的操作系统,提供 Windows 和 macOS 两个版本。下载后双击安装包,一路下一步。系统要求不高:Windows 10 及以上,macOS 12 及以上,建议 8GB 内存,安装包约 500MB。 为什么强调官网?因为桌面端涉及本地文件读写权限,非官方渠道的安装包有安全风险。codebuddy.cn/work 是唯一可信的下载入口。 手机端:应用市场搜“WorkBuddy”。 App Store 或各大安卓应用商店直接搜。微信里还有小程序“腾讯WorkBuddy”,不装 App 也能用——云端模式不依赖电脑,本机模式远程连接桌面端。 二、登录与授权:两分钟搞定 AI工具只读取被授权的文件夹 打开后第一步是登录。支持微信扫码和手机号两种方式,建议用微信——后续联动腾讯文档、小程序更方便。 登录后,系统会提示你授权文件夹。很多人在这一步犹豫:让 AI 读我的文件,安全吗? 两句话说清:WorkBuddy 只能读取你明确授权的文件夹,不会碰任何未授权的内容。 只授权你实际需要它处理的目录——桌面和文档文件夹就够了。不需要全盘授权,也不建议全盘授权。 授权完成,进入主界面。 三、界面认识:三个区域,各管各的事 WorkBuddy 的界面只有三个区域: 区域 位置 干什么 左侧栏 左边 任务列表和历史记录,底部是头像和设置入口 对话区 中间 输入需求、和 AI 对话、上传文件 结果区 右边 查看生成的文件、代码、预览 第一次打开,对话区是空的。别慌,这就是你接下来要填的地方。 ...

我试了下WorkBuddy:替我写文章不行,替我干杂活是真行

前几天我试了一下 WorkBuddy,原本的想法很简单:看看它能不能替我写一篇公众号文章。 试完之后,结论先放这儿:能写,但如果只把它当“写稿工具”,挺浪费的。 真正让我觉得有用的,不是它替我写了几段正文,而是它把公众号写作前后那一串琐碎流程接了过去:查资料、搭结构、出初稿、写封面提示词、排版、存草稿。 这篇文章就讲清楚三件事:它到底能干到哪一步,它的短板在哪,以及我以后会怎么用它。 一、一个人做公众号,最累的不是写,是写之前 一个人做公众号,被一堆准备工作包围 一篇文章从想法到发布,中间有一长串不起眼的小动作:选题要想,资料要查,数据要核,结构要搭,正文要写,封面要配,后台要排版,最后还要预览手机效果。每一步单独看都不复杂,但全部压在一个人身上,就很容易拖延。 我以前写一篇工具类文章,流程基本固定:想到题目,打开浏览器查资料。查完之后资料是散的——官网页面、新闻稿、价格表、别人写过的介绍,还有一些不确定是否准确的二手信息。要把这些重新整理成自己的结构,判断哪些能用、哪些要删、哪些需要再核实,然后才轮到真正写正文。 写完也没完。还要想标题、配封面、调小标题、把文章贴进公众号后台一段一段检查格式。有时候文章明明写完了,就因为不想处理封面和排版,在草稿里一放好几天。 公众号写作最消耗人的,从来不是“写几段文字”,而是从一个想法到一篇可发布文章之间那条长流程。 特别是写 AI 工具、模型、算力、价格对比这类文章,前面的核对更烦。读者关心的是具体信息:价格多少,功能开没开放,国内能不能用,适合谁。只要有一个关键参数写错,整篇文章的可信度就塌了。 这也是我这次想试 WorkBuddy 的原因。我不指望它一次生成一篇完美文章,我想看的是:这条流程,它能帮我往前推多远。 二、它不是聊天工具,是能跑流程的桌面助理 WorkBuddy 和普通 AI 聊天工具不太一样。 普通 AI 工具是“你问我答”:让它写一段话,它给你一段话;让它列大纲,它列大纲。有用,但后面的动作还得你自己做——开网页、查资料、整理文件、贴到后台、排版、存草稿。 WorkBuddy 更像一个桌面助理。它的特点不是单次回答多漂亮,而是能把任务拆开,然后一步一步执行。 它能打开浏览器查资料,能读你指定的本地文件,还能把整理结果放进文档里。 对公众号写作来说,这比“写一段更好看的文字”实用得多,因为公众号不是单点任务,是一串任务。哪怕它生成的第一版不完美,只要能把空白页变成一个有结构、有素材、有配图思路的草稿,对个人创作者来说就已经省了不少时间。 先把丑话说在前面:它不是那种“输入一句话,直接给你一篇可以群发的文章”的工具。至少以我这次的体验看,还不能这么用。它适合干前期和中间环节的活,最后那一遍判断和修改,还是得自己个来。 三、实测:让它写一篇“AI 工具速递” 这次我选的测试任务,是一篇“AI 新工具速递”类公众号文章。 WorkBuddy 把公众号写作流程往前推进 这类文章看着不复杂,写起来挺麻烦。它不是纯观点文,不能只写“这个工具很强”“哪个很适合创作者”,你得知道每个工具最近更新了什么、发布时间、功能限制、价格变化、适合开发者还是内容创作者。 所以我给 WorkBuddy 的指令不是一句“帮我写一篇 AI 工具文章”,而是说得很具体: 帮我写一篇 7 月 AI 新工具速递类公众号文章,挑 5 款和开发者、内容创作者相关的新品。每个工具都要写清楚发布时间、主要功能、价格或使用限制、适合人群,再加上我的判断。写完后生成封面图提示词,并整理成适合微信公众号排版的格式。 后面我又补了一句: 保存到公众号草稿箱,不要发布。 这句话很关键。AI 可以帮你写、帮你排版、帮你存草稿,但发布按钮最好还是自己点。 文章一旦发出去,标题有没有夸张、数据有没有错、图片有没有版权问题,最后都算在作者头上。AI 可以替你干活,不能替你承担发布责任。 WorkBuddy 接到任务后,没有直接开写,而是先把任务拆开:先查资料,再把不同工具的信息整理出来,然后才生成文章结构。这比直接让聊天工具硬写一篇要稳,因为它至少先做了资料准备。 当然,资料准备不等于完全准确。价格、发布时间、功能开放范围这些细节,还是要自己再核一遍。 四、最省时间的三件事:资料、大纲、配图提示词 这次试下来,我觉得它最有用的地方有三个,都不在正文。 第一,资料整理。 工具类文章最怕信息散:功能说明在官网,价格在另一个页面,更新记录在博客或公告里,别人的介绍又夹着不少二手理解。手动整理的结果往往是浏览器标签页越开越多,写文章的精力先被消耗光了。 WorkBuddy 可以把这些信息按固定结构先整理出来:这个工具是什么、更新了什么、适合谁、限制在哪。整理出来的内容不一定能直接进文章,但至少让素材从“散乱网页”变成了“可处理材料”。 第二,搭大纲。 写文章经常在结构上花时间:先讲什么后讲什么,哪些放前面吸引读者,哪些放后面做判断。它给的第一版大纲不一定符合个人的表达习惯,但有了框架再删改,比从空白文档开始轻松太多。 第三,配图提示词。 写 AI、算力、本地模型这类文章,经常需要横版封面和正文插图。图不能太花,不能像广告,不能出现真实品牌 Logo。WorkBuddy 能根据文章内容生成图片提示词,比如:2.35:1 横版、极简写实科技风、不要人物、不要真实商标、右下角加 by OneCai。提示词一旦标准化,整个账号的配图风格就稳了。 ...

为什么CPU能一卖四,GPU却只能整卡出租?

术语解构系列·超分比 文中价格与产品信息查证时间:2026年7月3日。云厂商产品线与活动价变动频繁,请以官网当日信息为准。 同样是“2核2G”,凭什么差几倍? 打开云厂商的售卖页,你会看到一个奇怪的现象:同样标着“2核2G”的云主机,阿里云经济型e实例曾长期卖99元一年(新老同享、续费不涨价的官方活动价),而同配置的企业级独享实例,一年要贵出好几倍。 配置表上找不到区别,底层CPU甚至可能是同一颗,差别藏在一个产品页上永远不会明说的数字里——超分比。 今天这篇讲清楚四件事:超分比是什么,它怎么把“账面算力”和“有效算力”变成两回事,怎么验证你自己的云主机被超分了多少,以及为什么这套玩了二十年的商业魔法,到了GPU时代突然失灵了。 一、超分比:云厂商的印钞旋钮 CPU超分比如何把物理算力变成更多账面vCPU 超分比(overcommitratio)=卖出去的vCPU总数÷物理机的逻辑核总数。 拿一台具体的机器算账。一台双路AMDEPYC9654的服务器: 物理核:96×2=192核 开超线程后:384个逻辑核 成本:EPYC9654发布时官方定价11,805美元/颗(约8.4万元),两颗芯片按官方标价就是17万元。不过Genoa如今已是两代前的平台,渠道价早已跳水——2026年7月查询,京东上双路9654的整机(基础配置塔式,192核384线程)券后约5.3万元。云厂商用的是ODM定制机型加大批量采购,再配上虚拟化所需的TB级内存,单台成本大致在10万元这个量级(估算) 如果按1:1售卖,这台机器最多卖384个vCPU。 如果按1:4超分,同一台机器可以卖出1536个vCPU——售卖容量直接翻四倍,硬件成本一分没多花。 这就是99元云主机能存在的全部原因。它不是硬件更差,而是这个旋钮被拧得更大。 一个容易踩的细节:1:1也不是你想的1:1 注意分母是超线程后的逻辑核,不是物理核。厂商说“独享不超分”,通常指的是1vCPU独占1个超线程。而同一个物理核的两个超线程共享执行单元,单线程极限性能大约只有独占整个物理核的60%~70%。 也就是说,“标称核数”和“实际算力”之间,从CPU时代起就隔着两层折扣:先打超线程的折,再打超分的折。 有意思的是,这层折扣如今也开始被当成卖点消除:阿里云2026年最新一代企业级实例(如搭载AMDTurin的g9a)在官方文档里明确写着“采用物理核设计,计算性能稳定”——1vCPU=1物理核,连超线程的折扣都不打了。确定性本身,正在成为溢价商品。 二、为什么敢超卖?——因为你根本用不满 超分的底气来自一个统计事实:绝大多数虚机的CPU利用率长期在5%~20%之间。 Web服务在等请求,数据库在等磁盘IO,开发机在等程序员敲键盘。宿主机的调度器(KVM场景下就是Linux的CFS)把每个vCPU当作一个普通线程做时间片轮转——只要不是所有租户同时要CPU,谁也感觉不到谁。 这叫统计复用。打个比方:一家餐厅只有100个座位,却卖出了300张预约券。只要客人分散到店,一切正常,翻台率还高得漂亮;可一旦300人同时进门,座位立刻不够,排队就开始了。 整个云计算的低价入门产品线,都建立在“客人不会同时进门”这个赌注上。 各家云厂商把这个赌注做成了显式的产品分层(以下产品线信息查证于2026年7月3日各厂商官网文档): 层级 典型产品 机制 独享/企业级 阿里云企业级实例(g/c/r系列)、腾讯云CVM标准型(S9/SA9等)、AWSM/C/R系列 1vCPU绑定1超线程,性能稳定,有性能SLA;阿里云最新g9a更进一步采用物理核设计 共享型 阿里云共享型实例、经济型e实例 官方文档原话大意:vCPU被随机分配到任意空闲超线程上,不同实例会争抢物理CPU,高负载时性能波动——有可用性SLA,但无性能SLA 突发性能型 AWSt系列、阿里云t系列、腾讯云蜂驰型BF1 CPU积分/基准算力机制:基线可能只有单核算力的10%~40%,平时攒积分,突发时消耗,耗尽被压回基线 阿里云是把机制写得最坦白的一家——共享型文档里“争抢”“无性能SLA”这些词都是白纸黑字。腾讯云则没有公开叫“共享型”的在售CVM产品线,它把这个价位段交给了两个产品:轻量应用服务器(Lighthouse,不承诺具体CPU型号、随机分配、按套餐+流量包售卖)和蜂驰型BF1(把“基准算力/最高算力”直接写进规格)。包装不同,拧的是同一个旋钮。 突发性能实例是其中最诚实的形态:它把超分风险直接产品化了——规则全部写在明面上,基线多少、积分怎么攒怎么花,童叟无欺。 三、账面算力≠有效算力 账面算力不等于有效算力 有了超分比这个概念,就可以把平时被混着说的“算力”拆成三层: 物理算力:硬件真实具备的计算能力——多少颗CPU、多少核心、什么主频、什么架构。这是分母,是不会说谎的那一层。 账面算力:虚拟化之后对外分配出去的vCPU总量。因为有超分,账面算力可以远大于物理算力——100核的物理机,账面上可以“变出”400核。 有效算力:业务高峰期,你仍然能稳定拿到的那部分。这才是你真正买到手的东西。 超分比决定的,正是从账面到有效之间的兑现率。 回到前面的例子:同样一台“8核”云主机,底层超分2:1的平台上,这8个vCPU大概率随叫随到;底层超分8:1的平台上,你买到的其实不是8核算力,而是共享池里的8个排队入口——低峰期看不出区别,高峰期开始抽号。 云主机卖的是规格,你需要的是可兑现的算力。这句话记住,后面讲到GPU和智算中心时还会用到。 四、动手环节:看看你的云主机被超分了多少 先说一个很多人遇到过的困惑:“我这台机器CPU才用了40%,为什么业务还是慢?” 原因往往不在虚机内部,而在虚机外部——你的vCPU已经就绪、想跑,但宿主机没把物理CPU分给你。这段等待,从虚机内部的CPU使用率上是看不到的。 Linux里专门有个指标记录它。在你的云主机上跑: 1 vmstat110 看最后一列st(stealtime)——“被偷走的时间”: st长期为0:基本是独享,或者邻居们都很安静 st经常出现5%~10%甚至更高:宿主机上有“吵闹邻居”在和你抢核 如果你用的是VMware私有云,宿主机侧对应的指标叫CPUReadyTime,含义相同:vCPU就绪了,在等物理核翻牌。 两个旁证:一是用sysbench在深夜和工作日下午各跑一次分,波动明显就说明高峰期有争抢;二是别只看规格压测,跑一段真实业务——接口QPS、数据库查询耗时、一次完整编译的时间——不同时段各来一遍,兑现率高不高,数字不会撒谎。 99元的云主机,你应该要知道自己买的是什么。 五、如果你自己管资源池 超分比不只是买云主机时的避坑知识。如果你在管私有云、IDC资源池,它是一道经营平衡题:超分太低,服务器利用率上不去,成本浪费;超分太高,账面漂亮,高峰期体验崩盘。 行业里的常见做法是分池设置,不同业务给不同的旋钮位置: 资源池类型 常见超分比 逻辑 核心生产池(数据库、交易、计费) 1:1~2:1 稳定优先,要的是有效算力 普通生产池(Web、中间件、办公系统) 2:1~4:1 利用率和性能的平衡点 测试开发池 4:1~8:1 容忍波动,换利用率 桌面云/教学环境 6:1~12:1 看并发峰值定,人不会同时敲键盘 AI推理/高性能计算 1:1或不超分 持续满载,没有空闲可赌 这张表的最后一行,正好引出下半篇的主角。 ...

用AI工具,为什么有人花2块,有人花1300块?

价格数据核对时间:2026年7月初。文中人民币按7.2汇率粗算,具体以官方文档为准。 最近看各家大模型API的token价格,会有一个很明显的感觉: 有的平台很贵,贵到像“高级顾问”; 有的平台很便宜,便宜到可以当“日常水电”。 到底差多少?同样生成一百万个token(大约50万汉字): 用DeepSeek V4 Flash,输出费用0.28美元,约合2块人民币; 用GPT-5.4 Pro,输出费用180美元,约合1300块人民币。 640倍的价差。 不是打折与原价的区别,是自行车和特斯拉的区别。 更关键的问题是:日常做公众号、写文章、整理资料、做自动化,到底该用贵模型,还是便宜模型? 我的判断很明确: 贵模型不是智商税,但不能滥用;便宜模型不是低端货,而是AI普及的真正基础设施。 这篇把账算清楚。 一、先看价格全景:四个梯队 以下均为官方API标准价(非batch、非缓存),单位是美元/百万tokens,格式为“输入/输出”。 旗舰档:买的是天花板 模型 输入/输出 折合人民币(输出) GPT-5.5 $5 / $30 ≈¥216/百万 Claude Opus 4.8 $5 / $25 ≈¥180/百万 GPT-5.4 Pro $30 / $180 ≈¥1296/百万 主力档:生产环境的默认选择 模型 输入/输出 备注 Claude Sonnet 5 $2 / $10(首发价) 6月30日刚发布,8月31日后恢复$3/$15,标配1M上下文 GPT-5.4 $2.5 / $15 OpenAI当前主力 Gemini 3.1 Pro $2 / $12 2M上下文,超20万token的请求涨到$4/$18 性价比档:国产模型的主场 模型 输入/输出 备注 GLM-5.2 $1.4 / $4.4 智谱6月刚调的价 MiniMax M3 $0.6 / $2.4 SWE-bench 80.5%,80分以上最便宜 DeepSeek R1 $0.55 / $2.19 推理成本约为o3的1/27 底价档:跑量专用 ...

7月AI新工具速递:本月值得关注的5款新品

6月底到7月初这两周,模型厂商和工具厂商都在密集出货。这一期挑了5款和开发者、内容创作者关系最大的新品,全部给出具体价格和参数,方便你直接判断值不值得上手。 一、Claude Sonnet 5:Anthropic 中端主力换代 发布时间:2026年6月30日 Anthropic 把 Sonnet 这条“性价比主力线”推到了 5 代。官方定位是“迄今最具 Agent 能力的 Sonnet”,重点强化了编码、工具调用、推理和知识工作,性能宣称接近自家旗舰 Opus 4.8,但价格低得多。 关键数字: 首发优惠 API 定价:输入 $2 / 百万 token,输出 $10 / 百万 token,优惠期截至 2026年8月31日 优惠期结束后恢复 Sonnet 标准价:输入 $3 / 输出 $15 已成为 Free 和 Pro 套餐的默认模型,API 模型串 claude-sonnet-5 一个重要脚注:Sonnet 5 换用了新 tokenizer,同样文本会产生约 1.0–1.35 倍的 token 量。官方说法是首发优惠价的设计目标就是让迁移期成本大致持平 怎么看:Sonnet 一直是“日常干活模型”的甜点位。如果你在用 Claude Code 或自己的 Agent 管线,这个价位接近 Opus 级能力,值得在8月31日优惠结束前把评测跑完,确认是否切换默认模型。但注意上面那条 tokenizer 脚注——“输入 $2”不等于账单直接降三分之一,同样的文档会被切出更多 token,实际成本要拿自己的真实负载跑过才知道。这也是官方给优惠窗口的原因:让你在涨回 $3/$15 之前测清楚。 二、Cursor iOS App:AI 编码 Agent 装进手机 AI 编码 Agent 异步化:人在手机上派活,Agent 在云端或电脑上执行 状态:公测(Public Beta),所有付费订阅用户可用 ...

训练和推理,到底差在哪?为什么你能跑大模型,却训练不了小模型

很多人第一次接触大模型时,都会被两个词绕住:训练,推理。 这两个词听起来都很“AI”,但它们不是一回事。 一句话讲清楚: 训练,是让模型学会能力。 推理,是让模型使用能力。 再说得直白一点:训练是造模型,推理是用模型。 你平时用ChatGPT、DeepSeek、Kimi、豆包,或者在本地用LMStudio、Ollama、MLX跑模型,绝大多数时候做的都是推理——不是训练。 这个区别很重要。 因为它解释了一个普通用户经常遇到的问题:为什么我的电脑能跑一个32B大模型,却很难训练一个7B小模型? 答案就在“训练”和“推理”的资源差距里。 一、推理:模型已经学会了,现在拿来用 先说推理。 推理就是模型已经训练好了,你给它一个问题,它根据已有参数生成答案。 比如你问: 推理和训练有什么区别? 模型不会因为回答了这个问题,就真的重新学习一遍。它只是根据已经训练好的参数、当前输入和上下文,计算出最可能的回答。 这个过程里,模型参数基本不变。 它像一本已经印好的书。你可以翻,可以查,可以用里面的内容,但你翻了一页,并不会改写这本书的正文。 所以推理的核心是:不改变模型参数,只使用模型参数。 你让模型写文章、总结PDF、分析代码、生成标题、做错题讲解,本质上都是推理。本地大模型里的“运行模型”,通常也是推理。 训练是学习能力,推理是使用能力 二、训练:模型还不会,需要反复纠错 训练就不一样了。 训练不是让模型回答一个问题,而是让模型通过大量数据不断改变自己。 它的基本过程可以简单理解为四步: 第一步,模型先预测。 第二步,把预测结果和标准答案对比。 第三步,计算它错在哪里。 第四步,根据错误调整内部参数。 然后换下一批数据,继续重复。 模型看过海量文本、代码、数学题、图片、问答数据之后,才逐渐形成语言规律、知识结构、表达方式和推理能力。 所以训练的本质是:通过大量样本和反复纠错,修改模型参数。 如果把模型比作学生: 训练像上课和刷题。上课时,学生做题、改错、复盘,能力会发生变化。 推理像考试现场答题。考试时,学生只是调用已经学过的知识,现场作答。 这就是训练和推理的根本区别。 三、技术上的关键差别:有没有反向传播 从技术上说,训练和推理最大的区别是: 推理只做前向计算。 前向计算,就是模型根据输入算出输出。 训练既做前向计算,也做反向传播。 反向传播,就是模型根据错误结果,反过来计算每个参数应该怎么调整。 推理时,模型只负责“算答案”。 训练时,模型不仅要“算答案”,还要“算自己错在哪”,再修改参数。 所以训练天然比推理重得多。 这就像: 推理是做一道题。 训练是做题、对答案、分析错因、修改学习方法。 一个只是使用能力,一个是在改造能力。 四、为什么训练比推理吃资源? 训练和推理的资源差距,最直观体现在显存和内存上。 以一个7B模型为例。 7B,就是大约70亿个参数。 如果用FP16精度推理,每个参数大约2字节,那么模型权重大约是: 70亿×2字节≈14GB 如果做Q4量化,每个参数大约0.5字节,那么模型权重大约是: 70亿×0.5字节≈3.5GB到4GB 所以很多普通电脑、MacBook、Macmini,可以跑7B量化模型。 但训练完全不同。 训练时,系统不只要保存模型权重,还要保存: 梯度; 优化器状态; 中间计算结果; 激活值; 训练数据batch。 也就是说,训练不是只把模型“装进去”就行,还要为修改参数准备一整套额外空间。 同一个7B模型,推理可能几GB到十几GB就能跑起来;训练时,单是参数相关状态就可能需要上百GB,再加上中间结果,需求会继续增加。 所以你会看到一个现象: 普通电脑可以推理一个不小的模型,却很难训练一个比它更小的模型。 原因不是模型名字大小的问题,而是任务性质不同。 ...

显存、内存、算力,到底谁决定你的 AI 跑得快?

我们一开始买 AI 设备,第一眼看的是算力,会想需要多少 TFLOPS?多少 TOPS?GPU 核心多不多?NPU 强不强? 但真正用来跑本地大模型时,你很快会发现:算力不是唯一答案,甚至很多时候不是第一答案。 有的机器纸面算力很高,但模型装不进去。 有的机器勉强能装进去,但生成速度很慢。 有的机器看起来参数一般,实际跑 7B、14B 模型却很舒服。 还有的设备明明没有独立显卡,却能跑一些消费级显卡装不下的大模型。 问题就出在三个经常被混在一起的词上:显存、内存、算力。 显存和内存,听起来就差一个字。算力又经常被厂商放在宣传页最显眼的位置。于是很多人买设备时容易陷入一个误区: 只看谁算力大,忽略模型到底装不装得下,也忽略数据搬运跟不跟得上。 这篇文章用一个后厨的比喻,把这三个概念一次讲清楚。看完你就会明白: AI 设备不是单纯看谁算力大,而是看容量、带宽、算力是否匹配。 一、显存和内存:同一种东西,两种性格 先说一个容易被忽略的事实:显存和内存,物理上是同一类东西——都是 DRAM 存储芯片,都是用来临时存放数据的。 但它们服务的对象不同。 内存 RAM,主要服务 CPU。 电脑系统、浏览器、微信、Word、Python、数据库、剪辑软件、开发工具,大部分普通程序运行时都要占用内存。 CPU 的工作特点是:任务杂、跳跃性强、经常处理零散请求。一会儿处理键盘输入, 一会儿调度网络请求, 一会儿打开一个网页, 一会儿计算一个 Excel 表格。 所以内存更看重的是:响应快、延迟低、系统调度灵活。 你可以把内存理解为: CPU 面前的一张大办公桌。 办公桌越大,能同时摊开的文件越多。内存越大,电脑就越能多任务,打开大量网页、软件、工程文件时也更不容易卡。 显存 VRAM,主要服务 GPU。 GPU 的工作方式和 CPU 不一样。CPU 更像少数几个能力全面的员工,什么活都能处理,但同时处理的数量有限。GPU 更像一整排流水线工人,每个人做的事情相对单一,但可以同时处理海量重复计算。 比如: 同时处理几百万个像素; 同时渲染大量纹理; 同时计算神经网络里一大批矩阵乘法; 同时处理模型权重和中间张量。 GPU 干活时,需要一次搬运很大的数据量。所以显存更看重的是:高带宽、大吞吐、离 GPU 足够近。 你可以把显存理解为: GPU 旁边的高速专用工作台。 工作台越大,模型、贴图、视频帧、中间计算结果就越能直接放在 GPU 身边。工作台的数据通道越宽,GPU 就越不容易“等数据”。 所以显存和内存的区别,不只是名字不同,而是设计取向不同。 显存和内存的区别 对比项 内存 RAM 显存 VRAM 主要服务对象 CPU GPU 典型用途 系统、软件、多任务 图形、视频、AI 推理、AI 训练 核心取向 低延迟、灵活调度 高带宽、大吞吐 物理位置 主板内存或统一封装内存 显卡上的专用高速内存 不够时的表现 系统卡顿、频繁换页 模型装不下、任务报错、速度骤降 一句话: ...

token是什么?为什么AI不是按字数算账

很多人第一次听到token,是在用AI的时候。 比如你让AI总结一份很长的PDF,它可能提示“内容太长”。你让AI写一篇长文章,它有时候写到后面会忘记前面说过什么。你看一些AI工具的收费说明,又会发现它不是按“字数”收费,而是按token收费。 token到底是什么? 它是一个字吗?是一个词吗?还是一段话? 简单说,token可以理解成AI处理文字时使用的“基本颗粒”。 AI不是像人一样按一篇文章、一页纸、一个段落来理解文本,而是先把文字切成一个个token,再进行读取、理解和生成。 所以,token不是一个离我们现实生活很远的技术词,它会直接影响AI能读多长的内容、写多快、花多少钱,以及本地模型要占多少内存。 一、什么是token token 影响 AI 的速度、成本、上下文和内存 第一:token不是固定等于一个字。 在中文里,一个token可能接近一个字,也可能是一段词的一部分。在英文里,一个token可能是一个单词,也可能只是单词的一部分。 举个例子,“今天天气不错”这句话,模型不一定是按“今天/天气/不错”这样符合我们语感的方式切分,它可能切成“今天”“天气”“不错”,也可能切成更细碎的片段,具体取决于模型用的分词方式。 同样,英文单词“tokenization”也常常会被切成“token”+“ization”两个片段,而不是当成一个完整单词处理。所以不能简单理解成: 1个token=1个字。 这个理解不准确。 第二:token是AI处理文本时的基本计量单位。 人看到的是一句话、一段话、一篇文章。 但AI看到的不是完整文章,而是一串被切分过的token,它先把文字拆开,再进行计算。 第三:输入和输出都会消耗token。 你发给AI的提示词、资料、PDF内容、历史对话,都是输入token,而对于AI,是以输出token的方式回应你的要求。 很多人只看AI最后写了多少字,却忽略了前面塞进去的资料、提示词和对话历史,这也都在占“token”。 第四:token越多,AI处理压力越大。 token越多,模型要读的信息越多,信息越多,就会影响速度、成本、上下文长度、内存占用。token不是一个纯技术词,而是理解AI使用成本和体验的入口。 二、token和字数是什么关系? 很多人最容易误解的地方,就是把token直接等同于字数,这不准确,因为不同语言、不同内容、不同符号,被切分成token的方式不一样。可以简单看这个表: 内容类型 我们看到的单位 AI处理时的单位 中文文章 字、句子、段落 token 英文文章 单词、句子 token 代码 变量、符号、缩进 token 表格 行、列、字段 token PDF内容 页数、段落 token 对话记录 一轮一轮聊天 token 我们不需要精确记住每句话会被切成多少token,只要记住一个大方向:文字越多,结构越复杂,token通常就越多。 如果想有个粗略的量感,可以记一个大致的经验范围:中文大概1~2个字对应1个token,英文大概3~4个字母对应1个token,不需要精确,只是一个方便估算的尺子。 比如: 一段普通聊天,token很少。 一篇3000字公众号文章,token明显增加。 一份几十页PDF,再加上你让AI总结、改写、提炼标题,token就会继续增加。 如果你还让AI保留前面的所有对话,再继续修改,历史对话也会继续占token。 所以AI处理内容时,真正看的不是你主观感觉“这也没多少字”,而是模型内部实际要处理多少token。 三、为什么AI不按字数算,而按token算? 这个问题很重要,因为在我们的习惯里,文章是按字数算的,比如公众号文章3000字、作文800字、报告5000字,而AI模型真正处理的,是token序列。 你可以理解成: 字数是给人看的单位,token是给模型算的单位。 为什么不能直接按字数算?原因可能是以下三个方面: 1. 不同语言的切分方式不同 中文、英文、数字、标点、代码,被拆分的方式都不一样。 比如英文里,一个常见单词可能是一个token,也可能被拆成多个token。 ...

存储通胀:苹果涨21%、美光毛利80%、华为另起炉灶

存储通胀:AI 数据中心把硬件账单递给普通消费者 AI 时代第一张递到普通人手里的硬件账单——「又强又便宜」的二十年,结束了 6 月 25 日晚,苹果官网突然下线维护。几个小时后回来,价格表全变了:Mac、iPad 全线涨价,最高一台涨 3500 块,只有 iPhone、Apple Watch、AirPods 没动。 社交平台上一片“苹果终于露出獠牙”的骂声。但如果你只看到这一层,就把这件事看小了。 过去一年我们聊 AI,眼睛都盯着模型:谁更聪明、谁上下文更长、谁的智能体更像人。而你为 AI 付的钱,你以为是会员费、API、token——其实它正在悄悄变成另一个数字:你电脑价签上多出来的那几千块。 苹果不是想多赚。它已经把成本“内部消化”了大半年,扛到 6 月才不得不把账单甩给消费者。而这张账单真正的开账人,在一千公里外的 AI 数据中心。 下面把这条链一节一节拆开。 一、账单:苹果到底涨了多少 苹果硬件价格集体上涨 先把数字砸出来,这是最直观的部分。中国区官网这一轮共 13 款产品调价,平均涨幅约 21%: 产品 起售价变化(元) 涨幅 Mac Studio 16499 → 19999 +3500 MacBook Pro 13499 → 15999 +2500 iPad Pro 8999 → 10799 +1800 MacBook Air 8499 → 9999 +1500 iPad Air 4799 → 5999 +1200 MacBook Neo 4599 → 5499 +900 iPad(基础款) 2999 → 3799 +800 HomePod mini、Mac mini、iPad A16 这几款涨幅甚至超过 25%。Mac Studio 顶配叠加定制选项,部分机型总价涨幅超过 5000 元。 ...