金磊 发自 凹非寺
量子位 | 公众号 QbitAI
终于，那句用来教育年轻人的经典嗑，也是用到机器人身上了：
你们啊，
眼光得放长远点~~
△图片由AI生成
为啥？
因为一个靠谱的机器人啊，它不能只是看到什么就做什么，现在还得学会预判未来——
眼睛是看到了当下的这一帧，但脑子应该在盘算几步之后的画面了。
这个事儿在具身智能圈有个专门的名字，叫做VA（Video-Action）模型。
咱们先来感受一下这个feel：
视频地址：https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
从视频中我们不难看出，桌上的冰球不仅速度快，轨迹还在不断变化，如果机器人只靠”看到哪打到哪”的反应式操作，大概率要被KO掉的。
正确的解法，应该是模型一边盯着球的运动轨迹，一边提前预判几步之后球会跑到哪，然后提前调整身位、伸拍。
这就是“预判式控制”和“反应式控制”的本质区别。
不过啊，就在今天，VA这件事儿本身也要变了。
因为从现在起，VA模型不仅要“眼光放长远”，还得从娘胎里就是具身的！
这就是蚂蚁灵波刚刚发布的LingBot-VA 2.0，全球第一个具身原生的预训练VA基座模型。
从架构，到数据，再到训练目标，第一天起就是为机器人量身定制的。
除此之外，其它亮点还包括：
双臂任务成功率93.6% 单GPU推理150Hz因果DiT+稀疏MoE主干和前几天蚂蚁灵波三连弹开源+发布一样，LingBot-VA 2.0一经发布，同样引发了不小的热议，网友们纷纷表示：
机器人技术正在迈入一个新时代。
天生“预言家”的机器人
看完上面这段冰球对战之后，有小伙伴可能会好奇了：LingBot-VA 2.0的这种预判能力，扛不扛得住更复杂的真实任务？
巧了。
研究团队在真实机器人身上还做了几组不同维度的测试，可以看出VA模型会先在脑子里做预判，把动作建立在对物理动态的预测之上。
任务一：整理桌面
面对一张东西摆得乱七八糟的桌子，机器人要先看懂桌上有哪些物体，哪些应该被移动，移动到哪里。
我们来看下LingBot-VA 2.0的表现：
视频地址：https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
这项任务背后考验的，是模型对长时间跨度任务的状态维持能力；若是记性不好的话，机器人很可能收拾到一半就忘了自己刚刚收拾到了哪一步。
LingBot-VA 2.0的高维planner面对任务会首先做一个任务拆解，比如左臂负责收拾垃圾归位，右臂把笔和鼠标等文具复位，双臂并行推进还要避免空间冲突。
视频预测分支天然携带时序状态记忆，每一步操作后的桌面新状态都在模型预测范围内，不会出现“断片”返工。
语义视觉-动作分词器让视觉latent同时对齐语义信息，物体类别与目标位置的理解在长序列中保持稳定。
从最终效果看，机器人顺利完成了全桌面整理，说明LingBot-VA 2.0完全可以应对更接近真实生活的长程操作。
任务二：传送带抓取
这次任务的场景更接近工厂、仓储里的真实作业。
物体在传送带上持续移动，机器人要抓的不是一个静止的目标，而是一个正在移动的目标。
这就要求动作的时间节奏必须和物体的运动节奏严丝合缝地对上，早一点或晚一点，抓取动作都可能扑空。
视频地址：https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
这个任务考验的是机器人对连续运动场景的时间对齐能力。
同样的，LingBot-VA 2.0加持的机器人依旧成功完成了传送带抓取，动作和移动目标实现了同步。
传统工业方案依赖外部传感器（光电开关、编码器）做触发同步，纯视觉方案则需要模型自己算准时间。产线节拍固定，机器人不仅要抓得到，还要跟得上整体节拍，不能成为产能瓶颈。
LingBot-VA 2.0把物体正在移动这件事直接纳入动作决策，不只是识别当前位置，而是预测抓取动作完成瞬间物体的所在位置，把动作执行的时间开销提前算进去。
任务三：抓薯片
比起前两组，这一组的挑战换了个方向。
不比抓得准不准，看得是抓得够不够轻：
视频地址：https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
我们都知道薯片是又薄又脆的，所以机器人既要精确把握夹爪和薯片之间的相对位置，做到细粒度的视觉伺服，又不能一使劲就把薯片捏碎。
这就对模型保留局部视觉细节的能力提出了很高要求。
从演示结果看，机器人完成了对薯片这类薄片物体的抓取，过程里既要保持视觉上的精细判断，也要控制动作幅度和力度。
虽然这三组任务分别对应的是长程记忆、时间对齐、精细操作三个不同维度。
但其实它们都在指向同一件事儿，即LingBot-VA 2.0是靠对物理世界演化的预测，提前把动作规划到位。
（LingBot-VA 2.0完整能力视频如下）
视频地址：https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
那么接下来的问题是：
怎么做到的？我们可以把LingBot-VA 2.0背后的技术，拆解成四部分来看。
首先，是新一代VAE。
过去做视频生成的VAE，任务相对来说是比较单纯的，就是把视频压缩成一堆latent，再尽量原样解压回去，目标是做到“像”，跟语义、动作没有太大的关系。
但LingBot-VA 2.0用的是一套语义视觉-动作分词器（semantic visual-action tokenizer），它不满足于压缩得像，还要求视觉latent同时对齐语义和动作。
为此，团队让视觉分词器在做像素重建的同时，额外向一个冻结的视觉基础模型对齐特征，把语义信息也塞进latent里。
然后再单独训练一个只看视频、不需要动作标签的隐动作模块；通过一对逆动力学模型和正向动力学模型，从连续两帧latent里反推出中间发生了什么样的动作。
这样一来，哪怕是一段完全没标注过的网络视频，也能被模型学出动作相关的监督信号。
其次，是因果预训练。
第一代LingBot-VA的做法，是把一个双向注意力的视频生成模型“手术式”地改造成单向因果模型，再用有限的机器人数据做微调。
不过这样做的问题在于，这种改造式路线天然存在风险，因为机器人数据本来就稀缺，改造过程很容易把预训练阶段学到的广泛先验知识给磨没了。
所以LingBot-VA 2.0选择了一条更彻底的路：从第一天起就用因果架构从零训练整套模型，让模型天然按照“只能看过去、不能看未来”的时间线学习，这就恰好匹配闭环控制里“当下不能预知未来”的物理现实。
这个因果的next-latent预测目标，既能吃下海量网络视频做自监督，又天然匹配机器人闭环控制的时间结构，不用再走“先学双向、再改单向”的弯路，避免损伤模型原有的能力。
第三个改动，是给模型装上了稀疏MoE。
虽然模型容量越大，理论上越聪明，但如果每次推理都要把所有参数跑一遍，机器人的反应速度肯定跟不上。
为此，LingBot-VA 2.0的解法，是给负责视频预测的这条支路换上稀疏MoE架构——总参数量做大，但每次推理只激活其中一小部分专家网络。
具体来看，视频主干总参数约13B，推理时激活参数只有约1.9B；算上负责动作解码的部分和辅助训练模块，整个模型训练参数量约15.3B，但推理时每个token实际激活的参数只有约2.5B。
如此设计，便让能力上限往上扩的同时，实时推理压力尽量压住。
更直观的结果，体现在推理速度上。
经过一致性蒸馏、低精度编译执行、长程注意力优化和运行时开销削减之后，LingBot-VA2.0的推理时间从baseline的965ms/chunk降到142ms/chunk，异步控制频率也从33Hz提升到225Hz。
换句话说，模型每142ms就能输出一个包含32个action的动作chunk，最高异步控制频率可以做到225Hz。对于需要实时闭环控制的机器人来说，这个速度提升非常关键。
LingBot-VA 2.0最后的改动，便落在了推理阶段的执行方式上。
如果模型和机器人是串行工作的（也就是模型算完一步、机器人才动一步，动完之后再等模型算下一步），那模型的计算延迟，会直接变成机器人的动作延迟，闭环控制的实时性根本无从谈起。
LingBot-VA 2.0为此设计了一套叫Foresight Reasoning的异步推理机制：
机器人执行当前动作片段的同时，模型已经在并行脑补下一步——先想象当前动作执行完之后画面大概会变成什么样，再基于这个想象结果，提前把下一步动作准备好。
但提前脑补这件事本身有风险，如果模型一直拿自己脑补的结果当真实输入，很容易脱离真实物理世界。
为了避免这种漂移，LingBot-VA 2.0会在每一次真实观测返回时，用最新的真实画面重新校准，把脑补的预测拉回现实。
本质上，我们可以把它理解为是一套“预测-执行-纠偏”的闭环机制。
而经过上述四步的改动后，效果也是立竿见影的。
在RoboTwin 2.0这个仿真基准上，LingBot-VA 2.0在Clean（干净场景）、Randomized（域随机化场景）、Avg（平均）三项成绩分别达到93.8%、93.4%、93.6%，相比第一代LingBot-VA的92.9%、91.6%、92.2%都有提升，也全面超过π0.5、Motus等基线模型。
消融实验也印证了新分词器确实有用：在50个任务的Easy/Hard平均结果上，用自研分词器的模型成绩为86.6%和83.1%，明显高于换成通用WAN2.2 VAE方案后的78.0%和76.0%。
MCP（多步预测）这个训练时的辅助目标，同样带来了实打实的效率提升：在50fps的随机化设置下，用了MCP的版本，训练5000步后成绩就已经比不用MCP的版本高出29.7个百分点；而且只用20000步，就能达到不用MCP时训练45000步才能达到的准确率，相当于2.3倍的训练加速。
从整体结果来看，LingBot-VA 2.0已经把“更懂物理变化”、“更高频闭环控制”、“更少样本适配新任务”这几件事，放进了同一套系统里。
机器人大脑，全栈步入2.0时代最后的最后，我们还需要聊聊一个话题：
LingBot-VA 2.0，到底意味着什么？
这次技术升级开启了“具身原生”的时代，让具身基模正式从“基于数字世界模型的能力嫁接”转向“面向物理世界需求的原生设计”。
机器人模型的训练目标，正在从理解指令、输出动作，往学会预测动作会如何改变世界迁移。
但我们若是把LingBot-VA 2.0放到蚂蚁灵波连续几波开源和发布的这条链路上来看，它的定位、蚂蚁灵波要做的事，会变得更加清晰。
从LingBot-Depth 2.0，到LingBot-VLA 2.0，再到LingBot-Video，直至今天的LingBot-VA 2.0，蚂蚁灵波正在逐步揭开机器人大脑2.0的全貌：
LingBot-Depth 2.0解决的是空间感知问题，LingBot-VLA 2.0解决的是当下就能落地的动作执行问题，LingBot-Video补上的是视频生成模型推理效率的短板，而LingBot-VA 2.0，则进一步把这些能力汇聚到预测式控制上。
把它们串起来看，这就是一条非常清晰的，从“看清楚世界”，到“理解物理世界”，再到“在真实世界里连续行动”的完整链条。
对整个具身智能行业来说，这也是一个很值得关注的变化。
当机器人本体越来越成熟，行业接下来要拼的，可能不只是手有多巧、腿有多稳、身体有多灵活。
更关键的会是，这颗大脑，是不是从出生那天起，就真正为物理世界而生。
网站：
https://technology.robbyant.com/lingbot-va-v2技术报告：
https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf— 完 —
量子位 QbitAI · 头条号
关注我们股票配资公司排行，第一时间获知前沿科技动态
东方优配提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
