点击下方卡片，关注“具身智能之心”公众号。去年八月，我们曾发布过一篇关于“第一视角人类视频”深入探讨的文章。那时，这个领域还处于萌芽阶段，相关的学术论文寥寥无几，基础演示也大多停留在试验性质。而如今，这一趋势正迎来爆发式的变化，技术路线日趋清晰，行业热度持续攀升，甚至引发了资本的争相追逐和纪录的刷新。由英伟达、伯克利以及马里兰大学联合推动的“egoscale”项目，借助超过两万八百五十个小时的人类第一视角视频，完成了大规模动作标注，构建了一套先进的视觉学习体系。这份研究不仅揭示了数据规模与验证损失的对数关系，也为预测在真实设备上的性能表现提供了理论依据。可以说，短短半年时间里，行业内关于第一视角视频研究的脚步，从个别论文的探索逐渐演变为引领风潮的主流方向，规模化应用、融资事件频发，甚至出现了打破纪录的创新突破。这一切令人振奋，但也引发了一些根本性的问题：很多人还是在模糊中理解“以人为中心”与“ego”这两个常见词汇，导致行业内存在不少误解——有的把二者混为一谈，有的却将其视为对立的两个阵营。如此认知偏差，很可能阻碍了真正的问题理解与方案优化。因此，本文将从数据采集和训练策略两大核心角度，拆解这两个概念的本质差异，并结合最新的行业动态，深入分析它们的联系与区别。
先从核心判断出发：所谓“human-centric”与“ego”，其实并不是沿着同一条技术轴线向前推进的概念。有人理解“以人为中心”，有人理解“第一视角采集”，但确实反映了两种不同的思路。这两者的差异，不在于标签本身的定义，而在于到底处理机器人与人类之间的多维差异感时，哪一环更优先去“解决”。实际上，这些差异远不止一点点，它们在不同的环节表现出来的状态全然不同。更有意思的是，最近行业内还出现了一种全新的方案——利用生成模型，直接“翻译”掉这两者之间的差异。这一技术变革，重新让我们认识到这两个词背后隐藏的深层逻辑：一个是“谁主导的表征体系”，另一个则关乎“数据采集的角度”。两个不同的路径，规划出了不同的技术方案，也解释了为什么行业内部会出现如此多样的真人游戏第一品牌的解决方案，甚至一些公司用不同的理解角度，把这个看似简单的问题变成了实践中的“活教材”。
在进入具体讨论之前，必须先理解这两个差距的根本性质：“视角差”与“具身差”。“视角差”指的是人类在完成动作时，其摄像头位置、观察角度，跟机器人内置的视觉系统所看到的画面之间存在明显差异。简而言之，就是“人在看的”和“机器人在看的”，在空间角度和视觉信息上都大不一样。而“具身差”则源于人体复杂的身体结构和高度的灵活性——手指的微调、手臂的伸展、身体的转动，都是当前机器人难以完全模拟的部分。人类手指的动作之复杂，远远超出机械臂的限制。通俗地说，“人类怎么动”与“机器人怎么模仿”，中间缺少一段关键的转化环节。这些差异，构成了“human-centric”和“ego”两类方案最大分歧的根源——究竟应优先补偿哪个差异点？这是方案设计中无法回避的核心问题。
“human-centric”强调“以人类为表现中心”，代表了一种以人体专家和人体模型为基础的路径。具体来说，采集设备会配备多角度摄像头、动作捕捉系统，捕捉人体姿态、手部细节，然后利用人体三维建模，将其映射到拟人机器人的模型中。这类方案的代表，从“humanoid-x”到“humanplus”、“h2o系列”，无一不遵循“人体动作还原、全面细节捕获”的原则。其核心优势在于：在动作复杂度上追求全景、多角度、高保真的还原，力求还原人体运动原貌。缺点则是：需要庞大的数据采集设备、繁琐的标注和建模流程，成本高昂，实施难度大，尤其在实际场景中，难以快速部署。
而“ego”方案则走“第一视角”的路线，强调“用机器人角度直接采集”。例如，配备头戴相机、手部追踪设备，甚至操作手末端的夹爪，捕捉的画面极尽贴近机器人目前的视野。它们的目标在于：减少中间环节，将“观察者看到的”与“机器人看到的”视角尽量一致。这些方案中，代表性的有“ego4d”、“ego-exo4d”和“egodex”等项目，核心在于从数据采集环节，就把视角定义在机器人行动者的角度，让动作采集不再是单纯“观察”人类动作，而变成“复制”机器人视角下的操控体验。这一思路的重点在于：专注于“视角一致性”和“动作直观性”，依赖硬件同步采集，从而简化训练中的角色转换难题。
经过半年多的行业实践验证，我们可以看到两条路径各自的特点：追求“细节丰富、多元完整”的“human-centric”方案，依赖多角度、多设备、多场景录制，强调“全面拥抱人类动作的复杂性”；而“ego”路径，则重视“硬件直采、快速匹配”，通过同步硬件设备减少中间转化环节。前者的优势在于：可以捕获从指尖到身体的全部动作细节，但因高成本和复杂流程，难以实现大规模快速部署；后者则因设备的硬件局限，动作范围受限，但通过专为机器人设计的硬件，可以在特定任务中实现“直采直用”。
在训练策略方面，仍然沿用去年提出的“重定向（retarget）”和“直接（direct）”两大思路。近期最大的突破，是利用大规模“人类视频”数据，将其进行“数据转化”以支持机器人训练——将“人类动作”转化为机器人可用的“伪动作”，成为研究的热点。具体做法包括几何匹配算法（如“gmr”）和伪监督机制，把庞大的非结构化视频数据，经过“拟合”和“调整”，变成机器人“可以模仿”的动作库。新兴的“伪动作”技术，帮助我们利用海量的人类动作数据，摆脱了小规模、无法成体系的局限。某些项目如“ace-ego-0”通过优化伪动作的生成技术，提升了伪动作的真实感和可靠性；另一方面，一些团队也开发了“集成语义理解”的方案——让模型在动作模仿的基础上，具备任务识别、技能组合能力，赋予机器人“理解”和“推理”的空间，使得动作不再是机械的复制，而是变得更具“智能感”。
提升到“任务认知”的层面，出现了一批前沿方案。这些模型不单单追求动作还原，还引入了“语义理解”轨道：模型在训练过程中同步学习任务目标、地图信息、行为策略，使其能在复杂场景中自主选择合适的动作路径。“ego-pi”这一方案的理念便是：利用大量多源数据，训练一个既能理解场景、任务，又能根据需求调度动作的多功能模型。在面向实际应用时，这种方法具有极强的适应性，能应对各种未曾预料的场景变化。
最新的研究还体现在生成模型的应用上。一项突破性的尝试，通过训练生成模型实现“跨视角预测”。即，给定第三视角场景的录像、第一视角的起始帧和指定任务，模型能“脑补”未来可能的第一视角动作画面——即“用他人的操作推断自己未来的视野”。这项技术的优势在于：它突破了传统的硬性采集方式，让数据补充变得主动可控，而非被动等待。这意味着，未来我们能用“翻译模型”，在不同视角间自由穿梭，减少繁琐的实地采集，大幅提升数据资源的利用效率。
总结来看这三大路径——“人类中心”、“以视角为基础”以及“生成式跨视角”——最终都指向一个共同目标：去弥合机器人学习中视角和身体差异带来的不匹配。大量的人类数据，强调更丰富、更复杂，但距离机器人仍有巨大差异，这要求通过“迁移”和“补充”实现“融合”；硬件导向的“ego方案”，则尽可能直接用硬件实现“原生对齐”；而生成模型的崛起，将这两者的壁垒打破，让方案变得更具弹性和兼容性。不同的思路，各有优势，也有局限。真正走通的关键，是学会拆解问题，找到最适合的技术路径。未来再有人谈起“用ego数据”或“以人为中心”的方案，记得先问：你到底要解决哪个差异？用的技术手段在哪个环节？只有理清思路，才能真正洞察方案背后的潜力与限制。
网友留言：