论文题为《Perceptive Humanoid Motion from Simulation》。研究团队将该系统部署在宇树科技G1人形机器人上验证，让机器人在仿真环境中学到的动作迁移至陌生现实房间执行。

与论文一同公开的还有数据生成、模型训练和部署代码，覆盖动作生成、动作跟踪、任务编排以及仿真与真机运行等环节。

项目页面显示，宇树G1可听从指令推箱子、跟随人、坐上椅子，也能侧身穿过半开的门、俯身或爬行穿过桌底；这些任务要求机器人理解周边环境，并依据空间条件调整身体姿态。

执行任务时，HALO由三个层级协同控制；最上层是基于视觉语言模型（VLM）的任务编排模块，默认采用千问Qwen3.6-35B-A3B模型。

该模型在机器人搭载的Mac mini上本地运行，与动作生成器共用模型服务引擎，无需联网即可工作；系统也可选择通过API调用云端模型，以获得更强推理和规划能力。

任务编排层负责处理指令中的模糊信息，并依据环境安排动作。例如坐下未指定目标，机器人需从眼前场景判断落座位置。

坐到椅子上在路径畅通时可直接执行；若有桌子挡路，则需拆成俯身通过、接近椅子、坐下等连续子任务。

任务编排模块通过机器人视角的视频持续观察环境，判断当前动作是否成功，并据此推进计划或重试，每次向动作生成器下达一个明确子任务。

中间的动作生成层采用千问Qwen3.5-2B。研究团队将其作为参数冻结的编码器，与负责生成动作的DiT解码器配合。

该层根据机器人看到的画面和当前子任务，规划未来约5秒的全身动作，每秒重新规划约3次，使动作计划能随环境变化持续更新。

底层的动作跟踪器经强化学习、策略蒸馏等步骤训练，以每秒50次的频率运行，结合深度图像和机器人自身状态，将动作计划转化为关节控制指令。

论文数据显示，6个未预先扫描或建图的真实环境中，360次单项任务测试平均成功率为91%；另一真实环境中，3种组合任务各测10次，平均成功率为70%，俯身通过障碍走向目标推箱子组合为50%。

仿真生成数据并未完全脱离人工参与。团队表示，新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动捕素材。

训练数据方面，团队使用250张英伟达H100 GPU，耗时约48小时合成主要训练数据；动作生成器通过模仿学习训练，使用64张B200，动作跟踪器使用4张H100训练。

研究团队同时指出，机器人目前主要依赖视觉感知，难以直接感知接触情况；当物体离开相机视野或被遮挡时，涉及较多接触的任务表现会下降；加入触觉感知是后续改进方向之一。

市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。