世界模型与机器人AI：AI下半场的产业迁移与落地路径

在讨论“AI下半场”的时候大家其实都在等一个东西大语言模型之后的下一波结构性机会。我的判断是这个机会正落在World Model世界模型和机器人AI这两件事上而这件事真正的看点不只是某个模型能力升级是一次正在发生的产业迁移。这篇内容我会从技术路线、工程难点、产业分工和实际切入路径四个层面分享我的观察适合做AI产品、机器人方向、以及想找新赛道机会的技术人参考。1. 为什么“世界模型”是一道分水岭1.1 从“预测下一个词”到“预测下一个状态”先说清楚一个大背景过去几年AI的大爆发本质上是语言模型把“上下文里的相关性”学明白了。ChatGPT背后的路数是用海量文本去预测“下一个token”预测得多了模型就拥有了语法、知识、逻辑。但当AI要走出对话框、去操作物理世界里的机械臂或者双足机器人时这套“下一个词”的玩法就开始露怯——因为物理世界不会按照token的节奏运行它关心的是“下一个状态”。什么是“下一个状态”举个例子你看到一个杯子在桌子边缘一半悬空你不需要一秒一秒预测杯子的每个像素你会直接判断“再往前挪一点就会掉”。这其实就是人类在做世界建模输入当前画面在脑子里预测几秒后的物理状态再反推现在该怎么做。World Model要做的就是让AI具备这种能力输入一段视频或者一个机器人操作指令模型在内部模拟未来状态再输出行动决策。所以现在的共识是语言模型解决的是“懂不懂”世界模型解决的是“能不能在未知环境里行动”。这个转变会把AI的核心竞争从“文字数据堆量”搬到“物理世界理解”赛道逻辑完全不一样。1.2 生成式路线与JEPA路线之争世界模型现在有两条主流技术路线我看很多讨论混在一起在这里先拆开。一条是基于视频生成的路线代表是像Sora、Genie这类工作。思路是让模型看大量视频学会“虚拟环境里下一秒长什么样”。优点是效果好生成的视频非常逼真缺点是计算开销极大而且要训练一个能支撑机器人实时决策的世界模型对推理速度要求极高目前还很难在真实机器人上跑起来。视频生成的路线更像是“让AI看世界”而不是“让AI判断世界”。另一条是Yann LeCun一直推的JEPA风格路线基本思路是让模型在“抽象表示空间”里做预测不是预测像素而是预测“这一个动作发生后画面里的关键特征会怎么变”。打个比方我们开车时不会每秒盯住前方每个细节而是关注“前车的距离、方向盘的转角、车道线的位置”这几个关键变量。JEPA就是让模型自己学会抽取出这些关键变量然后在它们之间做预测计算量和信息密度都友好得多。这两条路线目前都还没有终极答案但它们指向同一个方向未来AI必须具备“内在物理直觉”。这也是为什么我说世界模型是分水岭——谁先在低成本、高实时性的条件下让模型拥有这种物理直觉谁就拿到了AI下半场的入场券。1.3 世界模型到底解决什么问题说点更落地的话世界模型到底能解决什么现实问题我觉得有三个场景最典型。第一个是自动驾驶和机器人操作里最头疼的“边角案例”。真实世界总会出现训练数据里没有的场景突然滚到马路中间的球、桌上形状不规则的工具。传统严格依赖规则和标注数据的AI遇到这种场景就是抓瞎。但世界模型给了一条思路——让模型先模拟“如果继续这样动几秒后会发生什么”如果模拟结果危险就早一点换动作。这个逻辑比“见过才能处理”要接近人类得多。第二个是“低成本试错”。现实世界里用机器人做一万次抓取实验消耗电机、传感器、人工去收拾现场代价极大。有了世界模型作为“精神演练场”机器人可以在仿真环境里先做几千次尝试把明显会翻车的策略淘汰掉再回真实环境做少量验证。这就像运动员在脑子里反复预演动作套路真正上场只做最后几轮校准。第三个是跨场景迁移。如果模型学的不是“某一个厨房的布局”而是“物体的物理规律和空间关系”那换一个新环境它就不需要从头学起。这个能力对家里、工厂、仓库这些场景密度极高的机器人落地来说就是刚需。这三个问题本质上都是“大语言模型解决不了的问题”。所以我才认为世界模型不是大模型的一个分支升级而是下一轮AI技术栈的底座。2. 机器人AI的几块硬骨头2.1 语言模型好做机器人难在哪很多人有个错觉既然GPT能写诗写代码那给机器人接个大模型“大脑”它应该也能干活。真上手做一次就知道问题远比想象中复杂。语言模型处理的是离散符号文字天然是token化的训练数据可以从互联网整个扒下来但机器人的动作是连续的、高维的它要控制的是从“关节角度”到“力矩”的一个连续变化过程。现在业界的做法是把动作也离散化成一个个“动作token”比如每0.1秒输出一组关节角度这组角度当作一个token再用类似训练语言模型的方式去训练动作预测。这方法行得通但它暴露了机器人的核心短板数据从哪来。语言数据是无限的互联网上有几万亿个token机器人动作数据却几乎没有现成的。目前最顶尖的机器人数据还是靠一帮人在仿真环境和真实环境里手动操作机械臂一段一段采回来的。我接触过的一些项目组一个熟练的数据采集员一天能采的高质量数据大概也就几十到几百条。这些数据放到大模型训练里连“热身”都算不上。2.2 数据采集和标注的“物理限制”机器人数据为什么这么难搞这里面有一个“物理限制”的问题。文本数据可以多进程并行产生同一时刻全世界有无数人写文章、发评论数据自动长出来。机器人数据呢一台机械臂在物理世界里一次只能做一个动作要采集一万条抓取数据就得真抓一万次。就算把采集设备铺开设备成本、场地成本、维修成本、人工成本全都跟着上。这意味着机器人AI的训练数据是“制造”出来的不是“发现”出来的。所以现在大家在拼的已经不是谁的模型结构更好而是谁的“数据生产线”更快、更便宜。我见过比较靠谱的方案是遥操作采集人戴上VR手柄或者直接操纵示教器机器人跟着人的手做动作传感器记录下完整的关节轨迹同时传感器记录画面信息。但即便用了这套方案数据规模还是远远赶不上语言模型。这个现实倒逼出一个趋势谁能把数据采集成本打下来谁就掌握了机器人AI的胜负手。这也是为什么“World Model 机器人数采”被很多人称为AI下半场的“石油勘探”数据比模型更值钱。2.3 Sim-to-Real仿真不是终点数据不够那就去仿真环境里补。这个思路看着顺理成章做起来却全是坑核心就是一个叫“Sim-to-Real Gap”的问题。仿真环境里的物理引擎不管用MuJoCo还是Isaac Lab都无法100%还原真实世界的摩擦力、电机延迟、材料形变。你在仿真里练了一个特别漂亮的抓取策略一到真实机械臂上传感器数值差一点机械结构有一点形变策略就崩了。我见过不少团队仿真里成功率90%真机上只有30%。绕开这个坑的做法目前大致有两条路。一条路是“域随机化”就是在仿真环境里故意把摩擦力、重量、光照、颜色这些参数随机乱调让模型见多识广相当于给模型做了“抗干扰训练”另一条路是“系统辨识”就是花大力气把真实机器人的动力学参数测出来反哺到仿真引擎里让仿真环境更贴近真机。但最核心的思路其实还是那句话仿真解决量的问题真实数据解决质的问题。两者缺一不可合成数据加真实精调是目前比较务实的组合方案。2.4 统一动作空间机器人的“token”长什么样很多不直接做机器人的人不太理解为什么我们要花大力气把动作数据token化。这里说一个我看好的方向把“世界知识模型”和“动作模型”拆开再用一个中间层把两者接起来。大语言模型最擅长的是“理解指令”世界模型最擅长的是“预测状态变化”既然它们擅长的事情不一样就不该强行塞进一个模型里硬训练。业界的做法是用一个统一的动作tokenizer把各种不同构型机器人的动作数据都转换成同一种表达格式。先让模型“看懂”不同机器人的动作规律再根据任务要求从token序列中解码出动作指令。这样做的好处也明显世界模型对于一个物体被推动后怎么运动的预测是通用的不管推动它的是一台六轴机械臂还是一台人形机器人。动作空间统一之后实验室里大量数据就可以共享数据复用效率能翻好几倍。这就像语音识别里有了统一的音素表达各家说不同方言的人模型也能一次搞定。我觉得这个方向是今年到明年最值得关注的工程热点之一。3. 一场被低估的“产业迁移”3.1 为什么不是“重做大模型”前半场大模型竞赛拼的是基础研究和顶尖算力能做的人非常少而且很多基础能力是不可复制的。但到了World Model和机器人AI这一程游戏规则变了——这一程拼的不只是模型智商更是工程化能力、供应链效率、场景落地速度。换句话说前半场是“科研密集型”后半场是“工程密集型”。工程密集型的产业比的是谁能在有限预算内把数据、模型、硬件、场景四件事拧成一股绳。这种赛跑的逻辑和之前智能手机、新能源车的走向是很像的先做出来的人不一定赢能做便宜、能快速部署、能在真实场景里稳定跑起来的人才是真正赢家。所以我一直强调“被低估的产业转移”。当赛道重心从纯文本大模型转移到物理世界里的机器人AI时整个产业链的重心也会跟着移动。谁有更强的硬件研发和量产能力、更完整的电子供应链、更快的产品迭代节奏谁就能在新一轮拿到更大的份额。3.2 算力平权和开源生态带来的机会另一个被低估的点是今天的AI基础能力正在快速“平权”。以前要好几个博士加几千万算力才能训出来的视觉模型、语言模型现在开源社区直接可以拿来用。像各种开源视觉语言模型、动作控制底座已经把最底层的“感知能力”和“常识”打包好了。这意味着入局World Model赛道的门槛被推到了“如何用好开源底座做出高质量应用”这一层。这个门槛和之前纯做科研完全不是一个量级。一个20人的团队只要采购到合适的硬件平台配合开源模型完全有可能在特定行业做出现象级产品。我一直说这一轮机会最大的反而不是顶级大厂而是那些对场景极度理解、执行力极强的中型团队。他们不需要自己造轮子他们要做的是把开源世界模型和真实行业需求之间的“最后一公里”补上。这一公里恰恰是大厂最不愿意干、也最干不好的脏活累活。3.3 硬件供应链和成本曲线的倒挂做机器人AI还有一个绕不开的话题硬件成本和量产能力。一个机械臂的核心部件包括伺服电机、减速器、传感器、控制器这些硬件的成本曲线在过去几年里急速下降。以前一台高精度机械臂动辄几十万现在很多消费级机械臂已经降到了几万的量级。成本一降实验室里跑得通的方案才有机会变成商业上跑得通的产品。我估算过一个“倒挂”现象一个团队如果掌握了一套高质量机器人力控算法在硬件上只要花两三万买一台实验平台配一台高性能工控机就能做出以前需要几十万进口设备才能实现的抓取策略。这个成本倒挂意味着很多以前只能在论文里看到的技术开始有机会被做成真正的产品。再加上全球都有的代工链条从电机、电路板、外壳到整机几乎没有什么是找不到供应商的。这就会形成一种局面一个软件团队加一个供应链能力强的硬件团队在物理AI的赛道上完全可能绕过传统机器人厂商直接做出新一代产品。3.4 数据闭环的“中国式打法”我觉得最后值得单独说的是“数据闭环”这件事。机器人AI最重要的不是什么花哨模型而是能不能让数据源源不断地回来。以前我们做软件互联网讲“数据飞轮”用户越多产品越好产品越好用户越多。机器人AI也是一样的逻辑但它的数据来源不是用户点击而是真实环境里的运行数据。你部署了一万台机器人到仓库、物流站、咖啡店、医院这些机器人在干活的同时也在不断把新场景、新操作、新问题回传给模型训练系统。模型越好机器人能接的场景越多场景越多数据越丰富。这个闭环一旦转起来后来者就很难追。这也是为什么我更看好那些“已经有大量硬件在真实场景中运行”的团队而不是还在实验室里发论文的团队。真实场景数据就像滚雪球一样一旦开始滚动它的竞争优势会随时间呈指数级放大。这个逻辑和当年搜索引擎靠用户搜索数据不断优化排序算法本质上是一样的。4. 如果你想入场三条可执行的路径4.1 路径A从仿真和开源模型切入做研究如果你是从算法或者研究角度入场我建议从仿真环境入手。先把MuJoCo、Isaac Lab、或者现在社区里比较火的机器人操作仿真环境跑起来在环境里做一个最简单的“视觉伺服抓取”任务再把World Model的预测模块接进去对比效果。这一步的核心不是立刻做出多好的结果而是把整条链路跑通仿真环境 - 视觉输入 - 动作tokenizer - 动作解码器 - 环境执行 - 新状态观测 - 世界模型预测误差校准。我见过太多新人一上来就去啃真实机械臂结果被驱动配置、标定、网络延迟这些事耗掉两三个月。建议给自己定一个两周的小目标在仿真环境里让一只机械臂学会把一个方块从位置A搬到位置B且不依赖预设轨迹而是通过模型自主决策完成。这个任务如果在两周内独立跑通说明你对整个技术栈已经有了可行的掌握。之后再去挑战真实硬件心态会完全不同。4.2 路径B聚焦垂直场景做数据闭环如果你更接近产品和商业一端我建议别碰“通用机器人”这个深坑选一个垂直场景扎下去。比如快递分拣、餐厅传菜、按摩理疗、农场巡检选一个你能触达、又恰好有自动化需求的具体场景。选好场景之后核心只做一件事把数据闭环搭起来。我见过的一个非常务实的做法先采购2到3台便宜的机械臂在工厂里找一个简单工位做示范应用把操作过程中产生的所有帧数据、关节数据、力矩数据全部存下来。不需要追求大而全先把这一条流水线的数据跑通。当你手里有了一套真实场景的数据沉淀流程就会发现很多大模型都可以直接用根本不需要自己从零训练。我特别想提醒的一点是垂直场景的单客价值非常高。一台能稳定完成搬运任务的机械臂一年带来的成本节省可能比设备本身贵好几倍。所以这个方向不需要一开始就想着“做平台”只要服务好三五个客户数据规模就足够支撑你做模型迭代。4.3 路径C做工具链和基础设施这是一个很多人看不见但机会很大的方向World Model和机器人AI的基础设施包括数据标注工具、仿真构建平台、动作tokenizer工具库、评测基准等等。回头看看大模型浪潮里最赚钱的除了模型本身还有一堆“卖铲子”的公司。在机器人AI这个更早期的赛道里工具链的机会更大。目前很多团队连“给一段机械臂操作视频自动生成动作标注”的工具都没有还在人工逐帧打标签这个效率低得让人崩溃。如果你有工程能力哪怕只做一个好用的数据标注工具都能立刻获得一批忠实用户。走这条路的逻辑也简单先用工具聚拢行业里的开发者通过他们的反馈不断打磨工具等到整个生态成熟时你已经站在了产业链最有价值的位置上。而且工具类产品的商业模式非常清晰按席位收年费、按数据量计费都可以比做硬件现金流健康得多。4.4 一个具体的上手练手项目最后给一个可以直接上手的最小项目这个项目我推荐给很多入门的朋友做过反馈都不错。任务做一个“桌面机械臂视觉抓取demo”识别桌面上随机散落的小物件把指定颜色的方块抓到指定区域。硬件建议从几千块的桌面级机械臂入门配一个普通的RGB摄像头软件用Python检测可以直接接入开源的视觉模型抓取策略用上述动作tokenization思路在MuJoCo里先仿真再用真机做最后微调。一周时间分配建议一到两天搭仿真环境三到四天完成视觉识别和动作策略联调留一天做真机试错。重点是别追求一次成功要把精力放在“观察失败模式”上是抓取点识别错了还是轨迹规划硬了还是机械臂速度太快导致抓不稳。把每个失败原因记录下来这就是你机器人AI经验的第一桶金。5. 常见误区和QA自查表5.1 世界模型是不是又一个炒概念这个问题我被问了太多次。我的判断是概念热炒的成分有但背后的技术需求是真实存在的不能因为一部分人炒概念就把整个方向否定掉。打个比方很多年前也有人觉得“深度学习是炒概念”结果AlphaGo出来之后大家都闭嘴了。世界模型现在正处于类似的阶段论文很多、产品很少但所有做机器人、自动驾驶的人都清楚没有世界模型这个底座AI在物理世界里就永远只能做“背答案”的学生遇到没见过的题就傻眼。判断一个领域是不是伪需求就看顶尖团队在不在往里押注。现在几乎所有头部AI实验室都在世界模型和机器人方向有专门团队这个信号已经很明确了。与其争论概念真伪不如先跑通一个demo用实践判断能力边界。5.2 机器人数据不够怎么办这是被问得最多的实操问题。我的答案分三步。第一步用好仿真。先在仿真环境里生成海量合成数据把模型的基础能力打出来不要指望一上来就用真机数据训练。第二步定向采集真机数据不是随机采而是盯着仿真里失败率最高的那类场景采用真实数据补齐短板。第三步做数据增强和复用把已有的每一条真实数据都用足比如同一段动作轨迹在不同的光照、背景、物体颜色下多做几次推演让一条数据训练出多条数据的价值。我还有一条心得不要陷入“数据越多模型越强”的直觉里。机器人数据更看重“覆盖度”而非“绝对数量”。20条覆盖了不同物体材质、不同夹爪高度、不同角度入手的有效数据可能比200条雷同数据更有用。先把达到“多样性覆盖”作为数据采集的目标再考虑扩量。5.3 为什么不直接纯端到端现在很多团队喜欢宣传“我们纯端到端图像进去动作出来”。看着很酷但实际上风险极大。纯端到端意味着模型要从原始像素直接输出关节力矩中间没有任何可以干预的结构一旦出了事故你很难定位是感知错了、规划错了还是控制错了。我更推荐的路线是“分治”结构感知模块负责识别目标世界模型负责预测状态变化控制模块负责把预测结果变成实际行动。三个模块分开训练、分开测试哪一环出了问题直接定位替换起来也方便。在工程落地上这种架构的安全性、可维护性比纯端到端高一个量级。而且每个模块可以分别利用不同来源的数据不用非得是端到端的配对数据。你看自动驾驶领域真正能大规模上路的方案也都是感知、预测、规划分开的多模块架构道理是一样的。不是说端到端不可行而是在当下这个阶段分治结构是“既能推进技术、又能控制风险”的更优解。5.4 项目自检清单分享一个我自己做项目评估时用的清单直接拿去用。是否已经定义清楚“世界模型预测什么状态”而不是泛泛地“理解世界”是否有一条从仿真到真机的闭环迭代流程而不是只在一个环境里自嗨是否拥有可持续获取真实场景数据的渠道这决定了项目能不能滚雪球是否预留了动作tokenizer这一类标准化接口避免未来更换硬件平台时推倒重来是否检查过推理延迟机器人场景里100毫秒的延迟都可能让一个抓取动作失败是否在规划中考虑了安全兜底机制例如末端力控限制、急停逻辑。每一条都对应着过去不少团队踩过的坑。如果你能在项目启动前把这份清单过一遍大概率能省出两三个月的返工时间。最后说一个我自己的体感。这几年看过的项目多了以后我判断一个AI项目有没有前景开始越来越多地看一个东西它有没有自己的“物理数据雪坡”。嘴上的模型再先进如果拿不到源源不断的真实世界数据来喂养最终都会停在demo阶段。反过来只要数据闭环跑起来了技术迭代速度会远超所有人预期。世界模型和机器人AI这场比赛才刚刚开始而且它拼的不是谁的口号响是谁能更早一天让机器人在真实世界里多干一件有用的事。