表征桥梁即设计抽象——从工业设计方法论看IJCAI 2026机器人人类视频学习的四条路线
阅读:3
更新时间:2026-08-08 11:00:00
当一个人伸手去握住桌面上的玻璃杯时,他的大脑并不会逐像素地计算手指关节角度,也不会先在意识中重建一个完整的三维场景再决定动作。人在瞬间完成的事情,对机器人而言却是一场跨越表征鸿沟的艰难跋涉。2026年国际人工智能联合会议上,一场关于人类视频如何赋能机器人学习的讨论,把这个看似属于机器人学与计算机视觉的问题,推到了一个更接近设计本质的层面。如果把机器人看作一个需要被设计的系统,那么真正值得追问的不是哪条技术路线更先进,而是设计者究竟选择在哪一个抽象层级上注入监督信号。这个选择背后,是工业设计领域长期面对的核心命题:如何在具体的物质约束与抽象的功能意图之间,搭建一座可被理解、可被执行的桥梁。
机器人学习长期被一个数据困境所束缚。与语言模型可以从互联网文本中近乎无限地获取语料不同,机器人的每一条训练数据都意味着真机执行。机械臂的一次抓取、移动机器人的一次导航,都需要真实硬件在物理世界中完成,成本高昂、效率低下,而且数据格式与特定本体强耦合。换一款夹爪,换一套关节配置,之前积累的数据便可能大幅失效。这种昂贵与脆弱,使得机器人学习在数据规模上始终无法与大语言模型相提并论。与之形成强烈反差的是人类视频的体量。HowTo100M数据集包含1.36亿个带旁白的教学视频片段,Ego4D汇集了3600小时的第一视角日常生活记录。这些视频中蕴含着海量的人类操作经验,从厨房烹饪到工具使用,从物体交接到双手协作,场景之丰富、行为之多样,是任何机器人真机采集都难以企及的。更重要的是,这些视频几乎是免费的,它们已经存在于互联网的各个角落,等待被转化为机器人可用的知识。
然而,免费的午餐并不容易下咽。人类视频与机器人执行之间横亘着三重不兼容。第一重是动作标签的缺失。视频记录的是像素层面的视觉变化,并不附带每一帧对应的人手关节扭矩、手指开合度或机械臂控制指令。第二重是本体感知信息的缺席。人类在操作时拥有丰富的触觉、力觉和本体感觉,而视频只提供视觉通道,机器人无法从中直接获取接触状态与力反馈。第三重则更为根本:人手的运动学结构与机器人的控制接口完全不同。人有五个手指、二十多个自由度,机器人可能只有二指夹爪或七自由度机械臂,即便获取了人手的运动轨迹,也无法直接映射到机器人本体上。这三重不兼容使得人类视频不能被简单地当作训练数据喂给机器人策略,必须经过一层转化,而这层转化在学术上被称为表征桥梁。
表征桥梁这个术语看似是一个技术概念,但从工业设计的角度审视,它本质上是一种设计抽象。设计师在面对一个复杂系统时,不会直接在最底层的物理参数上工作,而是会根据问题的需要选择合适的抽象层级。设计一把椅子时,需要考虑人体工学曲线、材料强度和制造工艺,但不需要在原子层面上建模。设计一个城市交通系统时,需要关注流量、节点和换乘逻辑,而不需要指定每一辆车的发动机参数。抽象层级的选择,决定了设计者能看到什么、忽略什么、以及最终如何把意图转化为现实。机器人从人类视频中学习,面临的是同样的方法论选择:在从像素到语义的连续频谱上,监督信号究竟落在哪一层,决定了系统能够以何种方式迁移人类经验。
本次讨论梳理出的四条技术路线,恰好可以在这个抽象频谱上找到各自的位置。第一条路线是潜在动作方法,以LAPA为代表。它不在视频中标注任何显式的动作表征,而是让模型自行从视频序列中发现潜在的动作模式。模型通过预测未来帧或学习视频中的时序变化,隐式地捕捉操作的动作结构,然后将这些潜在表征迁移到机器人策略学习中。这条路线处于抽象频谱最靠近像素的一端,监督信号最弱,人工标注成本最低,但可解释性也最差。它类似于设计过程中的草图阶段,设计师不急于定义精确的尺寸和结构,而是让形式从模糊的意图中自然浮现。
第二条路线是显式2D方法,包括ATM、Magma以及Gemini Robotics等工作。这类方法在二维图像层面定义动作表征,比如通过手物交互的二维关键点、物体边界框或图像空间中的轨迹来描述人类在视频中做了什么。相比潜在动作,显式2D提供了更明确的监督信号,模型可以学习到可命名的动作要素。但二维表征丢失了深度信息和三维几何结构,当机器人需要在三维空间中执行操作时,从二维到三维的映射仍然是一个未解决的问题。这在设计方法论中对应于二维工程图的阶段,信息已经比草图精确得多,但距离可直接制造的三维模型仍有距离。
第三条路线是显式3D方法,以MANO手部模型、EgoVLA和VITRA为代表。这类方法试图在三维空间中重建人类的手部姿态和物体状态,利用参数化的手部模型或三维场景表征来描述视频中的操作。MANO模型可以从单目视频中估计出人手的三维关节角度和形状,VITRA则进一步将三维表征与视觉语言动作模型结合,使机器人能够理解三维空间中的操作指令。显式3D路线处于抽象频谱的中段,它保留了足够的几何细节以支持机器人执行,同时又不至于陷入逐像素的底层细节。这相当于工业设计中的三维数字模型阶段,形态、尺寸和装配关系都已经明确,可以进入仿真和验证环节。
第四条路线是世界模型方法,以字节跳动的GR-1、GR-2和WAM范式为代表。GR-2使用了3800万段视频进行训练,试图让模型学习一个能够预测物理世界状态变化的内部模型。世界模型不直接输出动作指令,而是学习环境如何响应动作,使机器人能够在内部想象不同动作的后果,从而进行规划和决策。这条路线处于抽象频谱最靠近语义和因果的一端,它追求的不是对人类动作的逐帧复刻,而是对物理规律和交互逻辑的深层理解。在设计方法论中,这对应于系统功能模型和行为原型的阶段,设计者关注的不再是单个零件的形状,而是整个系统在不同条件下的响应逻辑。
如果把这四条路线并置观察,一个常见的误读是将它们视为彼此竞争的技术阵营,仿佛某一条路线最终会胜出并淘汰其他路线。但这种理解恰恰偏离了设计方法论的核心洞察。四条路线之间的本质差别,不是技术原理的对立,而是监督信号所施加的抽象层级不同。潜在动作在像素和时序模式层面施加弱监督,显式2D在图像空间施加二维结构监督,显式3D在几何空间施加三维姿态监督,世界模型则在状态转移和因果逻辑层面施加预测监督。它们不是非此即彼的分叉,而是一个从具体到抽象的连续梯度。正如一个成熟的产品设计团队不会在草图、工程图、三维模型和功能原型之间只选择一种工具,而是根据设计阶段的需要在不同抽象层级之间切换,机器人学习系统也完全可能在不同的训练阶段组合使用这些路线。人类视频预训练阶段可以利用潜在动作和世界模型从海量视频中获取通用的物理直觉和时序理解,post training阶段再通过显式2D和显式3D表征将这些通用知识锚定到具体的机器人本体和任务上。
这种对抽象层级的自觉选择,正是平衡设计方法论的体现。在工业设计实践中,过于抽象会导致设计意图无法落地为可制造的产品,过于具体则会让人陷入细节而失去对整体系统的把握。抽象与具体之间需要保持一种动态平衡。在机器人从人类视频学习的场景中,这种平衡表现为:如果监督信号过于底层,比如逐像素地重建视频,模型可能学到大量与任务无关的视觉细节,泛化能力差;如果监督信号过于高层,比如只告诉模型打开抽屉而不提供任何几何和轨迹信息,模型可能知道目标是什么,却不知道如何在物理上实现。四条路线的梯度分布,实际上为设计者提供了一组调节抽象颗粒度的旋钮,可以根据任务需求、数据条件和硬件约束找到最合适的平衡点。
冯志远在专访中提出的两阶段分工框架,可以从这个角度获得更清晰的理解。他认为,人类视频的价值主要体现在预训练阶段,让模型从海量视频中学习视觉表征、物理直觉和操作常识;而真正要让机器人执行具体任务,仍然需要机器人真机数据进行post training,将预训练获得的通用知识适配到特定的本体和环境中。这个判断与工业设计中的标准流程高度吻合:设计师在概念阶段广泛调研用户行为和使用场景,建立对问题域的整体理解,然后在深化设计阶段将这些理解转化为具体的产品规格和工程方案。没有前期的广泛调研,设计会狭隘而缺乏想象力;没有后期的具体转化,设计则停留在概念而无法落地。人类视频预训练是广泛调研,机器人数据post training是深化设计,二者不是替代关系,而是递进关系。
冯志远同时指出,当前最大的鸿沟不是视觉表征,而是本体差异。人手和机器人手在结构、自由度、驱动方式和感知能力上的差异,是人类视频迁移到机器人时最难逾越的障碍。一个人可以用五个手指灵活地捏住一张纸,而二指夹爪可能根本无法完成同样的动作;人类皮肤拥有高密度的触觉感受器,大多数机器人夹爪却只有简陋的力传感器。从设计抽象的角度看,本体差异意味着同一种功能意图在不同的物质载体上需要不同的形态实现。这在工业设计中是一个经典命题:同一个功能目标,当材料、工艺和约束条件发生变化时,实现形式必然不同。塑料椅和木椅都满足坐的功能,但结构逻辑和制造方式完全不同。解决本体差异问题,不能寄希望于找到一种万能的动作映射,而需要在更抽象的层级上对齐人类和机器人的交互目标与状态变化,以交互结果为锚点而非以动作轨迹为锚点。这也正是三大开放难题中第二重难题的核心思路:面对本体和视角的双重差异,最有效的对齐方式不是逐帧匹配动作,而是对齐手物交互的结果状态。
三大开放难题中的第一重是视频切割问题。人类视频是连续的视觉流,而机器人学习需要的是离散的、有语义边界的操作片段。如何把一段长达十分钟的烹饪视频切分成拿取刀具、切配食材、开启炉灶等有意义的操作单元,需要对视频内容有深层的语义理解和交互状态识别。简单地按时间或镜头切换切割,会得到大量语义不完整或跨越多个操作的片段,无法直接用于训练。这个问题在设计方法论中对应于问题定义阶段的需求拆解。设计师面对的用户需求往往也是连续而模糊的,我需要做一顿饭这样的描述无法直接指导设计,必须将其拆解为备餐、烹饪、装盘、清洁等一系列有明确目标和边界的子任务。视频切割的质量,直接决定了后续学习能够在多高的语义层级上进行,也决定了表征桥梁能够搭建在哪个抽象层级上。
第三重难题是评测基准的失效。当前机器人学习的benchmark普遍存在多样性不足的问题,训练场景和测试场景高度相似,模型在基准上表现出色,但部署到真实环境中泛化能力骤降。这让人联想到工业设计中常见的一个陷阱:在实验室条件下通过了所有测试的产品,到了用户手中却问题百出。原因在于实验室的测试条件是经过简化和控制的,而真实使用环境充满了不可预知的变化。评测基准如果不能充分覆盖环境、物体、光照和任务的多样性,就会误导研究者对模型真实能力的判断。从系统设计的角度看,评测本身就是设计的一部分,它定义了什么是好,什么是可用,什么是可靠。一个好的评测体系应该像一个好的设计规范,既要有足够的约束以保证质量,又要有足够的开放性以鼓励创新。当前benchmark多样性不足的困境,实质上是评价体系的抽象层级出了问题,它在过于具体的层面上衡量成功,而忽略了更抽象也更关键的泛化能力和鲁棒性。
在四条路线的前景判断上,冯志远明确表示最看好世界模型。他的理由是,世界模型试图学习物理世界的状态转移规律,这种理解一旦建立,便具有跨任务、跨本体的泛化潜力。但他也坦言,世界模型目前的逻辑虽然完整,实际效果还不够好。同时他观察到,现阶段轨迹预测的重要性超过了对物理规律的精确建模,因为机器人首先需要知道做什么动作,其次才需要理解为什么。这个判断体现了理论与实践之间的平衡智慧。世界模型在理论上是最优雅、最抽象的方案,它试图让机器人像人一样在脑中模拟世界,但如果当前的算力和数据规模不足以支撑这种模拟,那么在更具体的层级上做好轨迹预测仍然是更务实的选择。这正如在产品设计中,最先进的技术方案不一定是当前阶段最好的方案,设计师需要在技术理想性和工程可行性之间做出权衡。
工业界的现状进一步印证了这种平衡的必要性。当前VLA加强化学习的组合在演示中效果惊艳,机器人可以在受控环境中完成复杂的操作任务,但一旦环境稍有变化,泛化能力便显著下降。世界模型方向逻辑完整、想象空间大,但训练出的模型在实际操作中的表现还不够成熟。这种demo好看但落地困难、理论完整但效果不足的局面,与许多新兴技术领域早期阶段的特征一致。从设计思维的角度看,这是一个典型的探索与落地之间的张力。探索需要容忍不确定性、鼓励大胆假设,落地则需要可控性、可验证性和可重复性。一个健康的研发生态不应该要求所有工作都立即落地,也不应该让所有探索都脱离实际应用。四条路线在抽象频谱上的梯度分布,恰好为这种平衡提供了结构性的可能:靠近像素端的路线更容易在短期内产生可验证的成果,靠近语义端的路线则承担着长期突破的风险与回报。
微软亚洲研究院在这一领域的布局提供了一个值得分析的系统设计案例。据冯志远介绍,微软亚研选择了灵巧手加VITRA的技术路线,将研究重心放在算法层面,明确不做硬件。这个选择本身就是一种设计抽象的体现。在具身智能这个复杂系统中,硬件本体和软件算法是两个不同的抽象层级。微软亚研选择在算法层级上深耕,利用VITRA的三维视觉语言动作能力来驱动灵巧手操作,而将硬件设计留给合作伙伴。这种分工不是对硬件重要性的否定,而是对系统边界的清醒界定。在工业设计中,一个成熟的产品生态往往不是由一家企业包办所有环节,而是不同参与者在各自擅长的抽象层级上深耕,通过标准化的接口协同工作。微软亚研不做硬件的决策,使得团队可以将资源集中于三维表征与动作生成的核心问题上,同时通过与灵巧手平台的对接验证算法的通用性。这种有所为有所不为的系统设计思路,比追求全栈自研更需要对自身能力边界和技术价值链的深刻理解。
VITRA作为显式3D路线的代表性工作,其设计思路也值得从方法论层面解读。VITRA将三维场景表征与视觉语言模型结合,使机器人不仅能理解语言指令,还能在三维空间中规划和执行动作。三维表征在这里扮演的角色,既不是底层的像素重建,也不是高层的抽象语义,而是一个兼具几何精确性和语义可操作性的中间层。这个中间层的选择极为关键。在工业设计中,中间层模型往往是设计沟通的核心载体,它既要足够具体以指导工程实现,又要足够抽象以支持不同方案的比较和迭代。三维表征之于机器人学习,就如同三维数字模型之于产品设计,是连接意图与实现的关键桥梁。VITRA选择在这个层级上发力,体现了对抽象颗粒度的精准把握。
将视线拉远到更宏观的层面,人类视频赋能机器人学习这个议题之所以值得工业设计师关注,是因为它触及了设计抽象这一方法论的根本。设计从本质上说,是在不确定性中寻找结构,在复杂性中建立秩序,在具体约束与抽象意图之间架设通道。无论是设计一把椅子、一个界面、一个服务系统还是一个机器人学习框架,设计者面临的核心挑战都是相通的:如何选择合适的抽象层级,如何在不同层级之间保持信息的可追溯性,如何在探索未知与交付可用之间保持平衡。四条技术路线的存在,不是因为研究者们对正确答案存在分歧,而是因为问题本身是多尺度、多维度的,需要在不同的抽象层级上同时推进。一个只在像素层面工作的系统会失去语义的方向感,一个只在语义层面工作的系统会失去物理的扎根感,唯有在多个层级之间建立结构化的连接,才能让机器人真正从人类经验中获益。
这种多层级协同的设计理念,也正是江苏创品工业设计在长期实践中持续探索的方向。在面对复杂产品和系统级项目时,单纯的外观造型或单一的技术优化都不足以解决根本问题,需要从用户研究、概念发想、结构工程到制造落地的全链条上保持抽象层级的自觉切换。在概念阶段保持足够的抽象自由度以探索可能性,在深化阶段逐步降低抽象颗粒度以锚定工程约束,在验证阶段又需要回到用户体验的抽象层级进行整体评估。这种在抽象与具体之间往复穿梭的能力,是工业设计方法论的核心素养,也是理解机器人学习四条路线关系的一把钥匙。技术路线的选择从来不是简单的对错判断,而是在特定问题、特定阶段和特定资源条件下对抽象层级的设计决策。
具身智能何时迎来它的GPT-3.5时刻,冯志远的回答是可能还会很久。这个判断并非悲观,而是基于对问题复杂性的清醒认知。GPT-3.5的出现建立在大规模文本数据、Transformer架构和充足算力的长期积累之上,而具身智能面对的是物理世界无穷的多样性、本体差异的硬性约束以及真机数据的高昂成本。从设计方法论的角度看,这意味着机器人学习领域还需要在抽象层级的选择、表征桥梁的搭建和评测体系的重建上进行更多基础性的探索。四条路线的并行发展不是发展初期的混乱,而是一个领域在多尺度问题面前的必然状态。随着研究的深入,这些路线之间的边界可能会变得模糊,潜在动作可能被整合进世界模型的内部表征,显式2D和显式3D可能作为世界模型的观察接口存在,最终形成一个在多个抽象层级上协同工作的统一框架。
对于身处上海这一中国工业设计与人工智能创新交汇点的从业者而言,IJCAI 2026上的这些讨论提供了一个重要的思维坐标。上海拥有完整的制造业链条、活跃的人工智能研究社群和日益成熟的工业设计生态,具备在算法、硬件和应用之间进行跨层级协作的独特优势。当机器人学习研究者在讨论表征桥梁时,他们实际上在做一种系统设计工作;当工业设计师在讨论产品架构时,他们也在处理抽象层级的平衡问题。两个领域之间的语言虽然不同,但底层的方法论逻辑高度一致。理解这种一致性,有助于打破学科壁垒,让设计思维更早、更深地介入智能系统的研发过程,而不是等到算法和硬件都定型之后再做表面的外观包装。
回望整个讨论,最深刻的启示或许是:表征桥梁的本质不是一种技术装置,而是一种设计抽象。四条路线不是需要决出胜负的赛道,而是设计者在抽象频谱上做出的不同选择。潜在动作教会我们在模糊中发现结构,显式2D教会我们在图像中锚定动作,显式3D教会我们在几何中连接虚实,世界模型教会我们在预测中理解因果。它们共同构成了从像素到语义的阶梯,每一级都不可替代,每一级都在回答一个不同层面的设计问题。当研究者和设计者都能自觉地在这些层级之间穿梭、组合与平衡时,机器人从人类视频中学习的进程才可能真正加速,具身智能的GPT-3.5时刻才可能从遥远的预期变为可触及的现实。而在这个过程中,设计方法论所提供的不仅是一套工具,更是一种看待复杂问题的方式:在分叉中看见梯度,在竞争中看见互补,在技术中看见抽象的力量。