机器人与模型
苹果 HALO：人形机器人栈里，两层是开源权重模型
苹果 11 月 4 日提交、次日开放代码的 HALO 研究系统把人形机器人控制拆成三个时钟：决策层用开源权重的 Qwen3.6-35B-A3B（4-bit，约 20GB）在机器人背上的 Mac mini 本地运行，动作生成层用冻结的 Qwen3.5-2B 编码器；训练语料在 1,000 所程序生成住宅里合成，论文称其「随算力而非人力扩展」。6 所未建图真实住宅 360 次单项任务 91% 成功——复合任务真机与仿真互有胜负，代码开放而权重不随仓发布，视觉之外没有接触感知。
本文依据 arXiv 2611.06908 论文摘要页与 HTML 全文（2026-11-04 提交，本站 11 月 8 日读取）、Apple AIML Research 项目页与 GitHub 仓库（11 月 8 日读取／API 核对）写成；IT之家 11 月 7 日报道仅作时间线参照，其「3D 打印外壳」一句论文未写，正文按论文措辞。全部数字为论文口径，本站未复现试验、未运行机器人、未下载权重。
一台人形机器人，三个时钟
11 月 4 日，苹果研究团队在 arXiv 提交《Perceptive Humanoid Motion from Simulation》，公开 HALO 人形机器人自主控制系统；次日凌晨（11 月 5 日 01:47Z）配套代码仓建立（本站 11 月 8 日 API 核对：单分支 main、3 commits、观察时 186 stars）。论文写明测试规模与结果：6 所未建图真实住宅，360 次单项任务试验，平均成功率 91%；同一单任务在仿真里 6,000 次试验同为 91%。
控制栈分三层，各按自己的时钟运行。编排层（Orchestrator）约每 2 秒一次（~0.5Hz）：开源权重的 Qwen3.6-35B-A3B，4-bit 量化（MLX 格式，约 20GB），跑在机器人后部外壳内的 Mac mini（M4 Pro，64GB 统一内存）上；它读语言指令与自身视角图像，输出子任务序列——蹲、坐、推箱、跟随，出自固定子任务词表（skills.yaml）。论文写明编排层可选改用云端前沿模型 API（原文：Optionally, it can route requests to frontier cloud models via their APIs for stronger reasoning and planning capabilities）。动作生成层（Generator）约 3Hz：冻结的 Qwen3.5-2B 编码器＋DiT 解码器（flow matching 训练），把 RGB＋子任务变成 5 秒全身动作计划（150 帧，30Hz）。跟踪层（Tracker）50Hz：RL＋蒸馏训练的跟踪策略，跑在 G1 原厂 Jetson Orin NX 上，吃深度与本体感觉，输出 29 个关节目标。
为什么分层？论文的理由直接：不同问题需要不同频率。决定做什么不需要每帧重想；5 秒动作计划以约 3Hz 重规划就够；平衡与接触稳定需要 50Hz 硬实时闭环。每层只看自己需要的输入。云端可换、底层固定：编排层可升级为更强的云端模型，跟踪层必须留在机载芯片。
来源与延伸阅读
- arXiv：Perceptive Humanoid Motion from Simulation（论文摘要页；HTML 全文另读）发布方论文 · 2026-11-04 提交（本站 11-08 读取摘要页与 HTML 全文）全文读取：三层控制栈（编排层为现成 VLM，约每 2 秒一次，可选改用云端 API；动作生成器以冻结的 Qwen3.5-2B 为编码器、DiT 解码器 flow matching 训练，约 3Hz 输出 5 秒计划；50Hz 跟踪器）。硬件：Unitree G1（29 关节）＋头部 OAK-1W 相机＋后部保护外壳内置 Mac mini M4 Pro（64GB）；跟踪器跑在原厂 Jetson Orin NX，深度 RealSense D435i。结果：6 所未建图真实住宅 360 次单项任务 91%（仿真 6,000 次 91%）；多任务评估 50 仿真环境＋1 真实住宅、每任务每环境 10 次、成功要求完成所有子任务，三种组合真机/仿真 100/71、60/73、50/64（均值 70/69）。训练：1,000 所 Infinigen 生成住宅、300 小时语料、合成用 250×H100·48h、生成器 64×B200、跟踪器 4×H100；摘要原句「语料随算力而非人力扩展」「产生一小时的数据至少需要一小时的人类时间」。局限：新技能仍需人工写提示词＋设计动作关键帧；物体离开视野或被遮挡后策略失去其信号、接触密集任务退化，触觉是自然的解法；各层接口窄（固定子任务词表）；编排层较简单、需要更 agentic 的系统。
- Apple AIML Research：HALO 项目主页（演示视频、交互查看器、真实任务画廊）发布方项目页 · 11 月 8 日读取项目页提供演示视频（完全自主运行：语音指令序列＋onboard 栈动画时间线：编排层每 2 秒选子任务、生成器每 1/3 秒重规划、跟踪器 50Hz）与交互式 3D 仿真回放（ego/深度相机视角可切换）；画廊约 27 段真实机器人任务片段（坐椅子/沙发、钻桌底、侧身过门、推箱、跟随人、爬行等）。本项目主页 BibTeX 标 arXiv:2611.06908；本站未播放整段视频，未逐帧审看画廊。
千个程序生成住宅：语料随算力扩展
HALO 数据管线回答的是人形机器人领域的老问题：数据从哪来。论文摘要原句：「这些方法依赖人类遥操作和可穿戴捕获设备，产生一小时的数据至少需要一小时的人类时间」。HALO 的替代方案是在 1,000 所 Infinigen 程序生成的住宅场景里合成视觉-语言-动作数据：300 小时语料，全部来自仿真。合成这批语料用了 250 块 H100 共 48 小时；动作生成器训练用 64 块 B200，跟踪器训练用 4 块 H100。
「随算力而非人力扩展」是论文原文（“The corpus scales with compute rather than human labor”），引言还有一句「质量靠自动验证器维护」。这句话的准确读法：语料规模不再受人力小时约束，用机器小时换人力小时；但「新技能仍需人工写提示词＋设计动作关键帧」同样写进了论文局限——规模的边界仍在人的设计能力上。
仿真到真实的迁移是零样本的：训练语料里没有任何真实住宅，6 所真实住宅直接部署。这决定了 91% 的边界：它衡量的是「训练时从未见过的房子」，不是「所有家庭」。6 所是小样本；论文未声称泛化到所有家庭。
来源与延伸阅读
- arXiv：Perceptive Humanoid Motion from Simulation（论文摘要页；HTML 全文另读）发布方论文 · 2026-11-04 提交（本站 11-08 读取摘要页与 HTML 全文）全文读取：三层控制栈（编排层为现成 VLM，约每 2 秒一次，可选改用云端 API；动作生成器以冻结的 Qwen3.5-2B 为编码器、DiT 解码器 flow matching 训练，约 3Hz 输出 5 秒计划；50Hz 跟踪器）。硬件：Unitree G1（29 关节）＋头部 OAK-1W 相机＋后部保护外壳内置 Mac mini M4 Pro（64GB）；跟踪器跑在原厂 Jetson Orin NX，深度 RealSense D435i。结果：6 所未建图真实住宅 360 次单项任务 91%（仿真 6,000 次 91%）；多任务评估 50 仿真环境＋1 真实住宅、每任务每环境 10 次、成功要求完成所有子任务，三种组合真机/仿真 100/71、60/73、50/64（均值 70/69）。训练：1,000 所 Infinigen 生成住宅、300 小时语料、合成用 250×H100·48h、生成器 64×B200、跟踪器 4×H100；摘要原句「语料随算力而非人力扩展」「产生一小时的数据至少需要一小时的人类时间」。局限：新技能仍需人工写提示词＋设计动作关键帧；物体离开视野或被遮挡后策略失去其信号、接触密集任务退化，触觉是自然的解法；各层接口窄（固定子任务词表）；编排层较简单、需要更 agentic 的系统。
代码开放，权重不随仓发布
11 月 5 日凌晨，代码仓 apple-aiml-research/ml-halo 建立（11 月 8 日 API 核对：01:47Z 创建、04:58Z 最后推送、单分支 main、3 commits、观察时 186 stars）。六个目录覆盖全管线：datagen（Infinigen 场景＋Kimodo motion＋Isaac/MuJoCo 渲染）、generator、tracker（Isaac Lab 三阶段：特权专家→多教师蒸馏→多 critic 微调）、orchestrator（halo_orchestrator 与生成器共驻 halo_serve）、system（run_sim.py / run_real.py 闭环启动器、halo_comm 消息、halo_serve 机载模型调度）、assets（G1 的 MJCF/URDF/USD 描述）。
「开放」的边界要写清楚。README 里一段未渲染的 TODO 注释原文：「No tracker weights ship; the proprio and depth tracker students are trained with tracker/training」——跟踪器权重不随仓发布，复现者需要用仓内训练代码自训。编排层模型是现成的社区 4-bit 量化版（mlx-community/Qwen3.6-35B-A3B-4bit，约 20GB），需 ≥32GB 内存的 Apple silicon。许可也不是通常意义的开源：LICENSE 是苹果自有条款（使用/修改/再分发附条件，GitHub 标 Other/NOASSERTION，非 OSI 开源许可证），第三方资产（G1 描述文件等）保留原许可。
这套「代码开放、权重自训」的放出方式和站内记录过的几条放出路径可以并排看：Cosmos 3 把后训练例放进下载页（开放权重、自跑）；K3.1 Pro 把开放权重压线公开（可下载、MaaS 需另签）；HALO 是「训练配方全公开，权重自己训」。三种方式的公开边界不同，读者拿到的可操作物也不同：Cosmos 给的是可跑的检查点，HALO 给的是从数据合成到部署的完整配方。
来源与延伸阅读
- GitHub：apple-aiml-research/ml-halo（代码仓）机器可查代码 · 11 月 8 日 API 核对仓库 2026-11-05T01:47Z 建立、04:58Z 最后推送，观察时 186 stars，main 单分支 3 commits。六目录：datagen（Infinigen 场景＋Kimodo motion＋Isaac/MuJoCo 渲染）、generator、tracker（Isaac Lab 三阶段：特权专家→多教师蒸馏→多 critic 微调）、orchestrator（与生成器共驻 halo_serve）、system（run_sim.py / run_real.py、halo_comm、halo_serve 机载调度）、assets（G1 的 MJCF/URDF/USD）。LICENSE 为苹果自有条款（使用/修改/再分发附条件；GitHub 标 Other/NOASSERTION，非 OSI 开源许可；G1 资产保留原许可）。README 的未渲染 TODO 注释原文：「No tracker weights ship; the proprio and depth tracker students are trained with tracker/training」——跟踪器权重不随仓发布，复现需自训。orchestrator/README 指向 mlx-community/Qwen3.6-35B-A3B-4bit（约 20GB，需 ≥32GB 内存 Apple silicon）。
- Hugging Face：mlx-community/Qwen3.6-35B-A3B-4bit（编排层模型）编排层模型来源 · 经 HALO 仓库 README 指认（11 月 8 日读取）编排层默认模型是社区 4-bit 量化版：约 20GB，需 ≥32GB 内存的 Apple silicon，由 halo_serve 在机载芯片上服务，与生成器共享 GPU。Qwen3.6-35B-A3B 与 Qwen3.5-2B 均为千问的开源权重模型；苹果未训练自有模型、未开放自训权重。
怎样读这些数字与边界
91% 是什么口径：6 所未建图真实住宅里 360 次单项任务（坐椅、导航到具名物体、侧身过半开门、钻桌底/爬行、推箱等单技能）的平均成功率，同任务仿真 6,000 次试验同为 91%。但复合任务分层：论文的多任务评估用 50 个仿真环境＋1 所真实住宅、每个任务每环境 10 次、成功要求完成所有子任务。三种组合真机/仿真：门→寻物 100%/71%（真机反超）、蹲→坐 60%/73%、蹲→寻物→推箱 50%/64%——三个组合里两个真机低于仿真、一个反超，方向不一致，不能从单项 91% 推出复合任务也 91%。
边界一：视觉是唯一感知通道。论文局限一节原句：「once an object leaves the camera's field of view or is occluded, the policy has no signal that it is still there, and contact-rich tasks degrade accordingly. Tactile sensing would be a natural solution.」——物体离开视野或被遮挡后策略失去其信号，触觉是作者点名的下一步。边界二：6 所住宅是小样本，论文未声称泛化到所有家庭。边界三：编排层较简单，作者写明需要更 agentic 的编排系统；各层接口窄（固定子任务词表）是作者列出的局限。
放到站内的图景里：启元 Q1/T1 一文记过国产人形机器人进家庭的路线；Genie 4 一文记过 DeepMind 世界模型接入机器人实验；权重一文记过开源权重模型可读可写。HALO 把三条线接在一起：程序生成的仿真世界当数据引擎（Genie 4 的方向），开源权重模型当大脑（Qwen3.6-35B-A3B 本地约 20GB），落到真实住宅里的 G1（启元式「机器人进家」）。苹果没有训练自有模型、未开放自训权重——把现成的开源权重模型接进三层栈，用程序生成的世界造数据，把「能力从源头到真实住宅」往生活推了一格；触觉、遮挡、编排层的 agentic 化，是论文自己点出的三处下一步。
来源与延伸阅读
- arXiv：Perceptive Humanoid Motion from Simulation（论文摘要页；HTML 全文另读）发布方论文 · 2026-11-04 提交（本站 11-08 读取摘要页与 HTML 全文）全文读取：三层控制栈（编排层为现成 VLM，约每 2 秒一次，可选改用云端 API；动作生成器以冻结的 Qwen3.5-2B 为编码器、DiT 解码器 flow matching 训练，约 3Hz 输出 5 秒计划；50Hz 跟踪器）。硬件：Unitree G1（29 关节）＋头部 OAK-1W 相机＋后部保护外壳内置 Mac mini M4 Pro（64GB）；跟踪器跑在原厂 Jetson Orin NX，深度 RealSense D435i。结果：6 所未建图真实住宅 360 次单项任务 91%（仿真 6,000 次 91%）；多任务评估 50 仿真环境＋1 真实住宅、每任务每环境 10 次、成功要求完成所有子任务，三种组合真机/仿真 100/71、60/73、50/64（均值 70/69）。训练：1,000 所 Infinigen 生成住宅、300 小时语料、合成用 250×H100·48h、生成器 64×B200、跟踪器 4×H100；摘要原句「语料随算力而非人力扩展」「产生一小时的数据至少需要一小时的人类时间」。局限：新技能仍需人工写提示词＋设计动作关键帧；物体离开视野或被遮挡后策略失去其信号、接触密集任务退化，触觉是自然的解法；各层接口窄（固定子任务词表）；编排层较简单、需要更 agentic 的系统。
- Apple AIML Research：HALO 项目主页（演示视频、交互查看器、真实任务画廊）发布方项目页 · 11 月 8 日读取项目页提供演示视频（完全自主运行：语音指令序列＋onboard 栈动画时间线：编排层每 2 秒选子任务、生成器每 1/3 秒重规划、跟踪器 50Hz）与交互式 3D 仿真回放（ego/深度相机视角可切换）；画廊约 27 段真实机器人任务片段（坐椅子/沙发、钻桌底、侧身过门、推箱、跟随人、爬行等）。本项目主页 BibTeX 标 arXiv:2611.06908；本站未播放整段视频，未逐帧审看画廊。
- IT之家：苹果披露人形机器人 HALO 系统（转述报道）媒体转述 · 2026-11-07仅作时间线参照：11 月 7 日 09:40Z 发出。标题数字（6 环境·360 试验·91%）与论文一致；「3D 打印外壳」一句论文未写；三层架构与训练资源等细节与论文一致。本篇事实以论文与官方页/仓库为准。