研究作品 · 动作怎样成为画面
手柄一动，手术画面跟着生成：Cosmos3-H-Dreams 在模拟什么？
同一幅起始画面，换一条器械动作，得到另一段后续。NVIDIA把生成视频做成可交互的研究环境，也把看起来真实、响应动作与经过验证的组织力学留给不同的证据。
这是供机器人研究者探索的可交互模拟器，需要Linux与NVIDIA GPU，默认配置显存超过32GB。NVIDIA于10月20日公开研究；画面生成与动作响应值得看，患者使用与组织力学仍需另外验证。
先看同一场景，怎样走出两条后续
公开演示中，操作者手里的控制器在动，屏幕里的器械和组织也随之变化。Cosmos3-H-Dreams接收一幅内窥镜画面、短段历史动作与后续器械指令，持续生成后面的画面。它尝试把“写一段提示词等视频”推进到“改变动作，再看场景怎样回应”。
30秒原片内部，上下两栏从相同画面出发。约4—8秒，下栏左侧器械横过前景，上栏仍保持上方牵拉；到16秒，上栏组织被抬起，下栏的延续已经不同。15秒原片也在上下栏展示两种路线，但它用的是另一初始场景。这些是原片中可见的变化，不是本站输入动作后复现的结果。
两栏都带有生成标记，不能把其中一栏当成真实手术的标准答案。它展示了动作条件有意义的对照方式：固定出发点，再改变控制；若只看一段漂亮的组织运动，还不足以判断模型是否真的跟随指令。
来源与延伸阅读
- NVIDIA：从桌面任务到临床场景研究团队原文 · 10月20日新模型、蒸馏、VR动作对照与后续研究方向；临床验证仍待进行。
- 60秒原演示：手柄与生成画面作者原片 · 无音轨前段显示操作者的控制台，后段显示带生成标记的场景；本文采用14秒整帧。 本站以每秒一帧覆盖三片105秒的全时段，没有运行模型。
- 30秒原片：同一场景的两条动作路线作者上下分屏对照 · 无音轨上下画面共用起始图，之后器械路线不同；本文保留0秒和16秒整帧。
- 15秒原片：另一初始场景的两条路线作者上下分屏对照 · 无音轨另一场景中的不同动作延续；不能把它与30秒片说成同一初始画面。
从桌面缝合到体内场景，变化也在训练范围里
前代Cosmos-H-Dreams学习的是dVRK桌面缝合。新模型以Cosmos 3体系的Cosmos3-H-Embodied-Nano为基础，进一步学习Versius机器人胆囊切除录像与同步运动信息。它不先逐个手写器官几何、接触和形变方程，而从视频与动作的对应关系中学习怎样延续场景。
这里的28维动作不仅包含两臂的位置、旋转和夹爪，还有能量与摇杆控制。训练样本要求恰好两件器械可见且持续参与，并排除明显相机指令。模型卡写明实际训练选取64段记录、约526分钟独立视频；不能把来源池4792段记录说成全部进入训练，更不能泛化为各种手术、任意器械与镜头。
这也解释了为什么“像手术”与“物理上正确”需要分开。画面能呈现遮挡、反光和牵拉，却没有因此给出接触力、组织刚度或解剖结构误差。作者把连接数值模拟、请外科医生评价和覆盖完整流程列为后续工作；视觉逼真是开始验证的理由。
来源与延伸阅读
- NVIDIA：从桌面任务到临床场景研究团队原文 · 10月20日新模型、蒸馏、VR动作对照与后续研究方向；临床验证仍待进行。
- 模型卡：训练范围、输出与作者性能表NVIDIA模型卡 · 固定版本训练筛选、28维动作、不同硬件与分辨率；不是本站实测。
43.2帧/秒不等于手到眼的延迟
为持续生成，团队先训练双向教师，再蒸馏为因果学生，并用Self-Forcing让学生在自己生成的上下文中继续学习。四步学生之后又经过两步训练，形成另一份权重；它不是把同一四步模型的采样次数随手改成二。
作者在RTX PRO 6000 Blackwell Workstation Edition、832×480下报告四步30.0 FPS、两步43.2 FPS；DGX Spark的16.9 FPS则使用512×288、两步。不同硬件、画幅和权重条件不能合并成一个速度排名，也不能由此宣称同等质量。本站没有复测这些数字。
训练动作按10 Hz对齐，运行端还有输入采集、生成、排队、网络和头显显示。原文档明确说明，30 Hz采集可以重定时到10 Hz模型时间，调高显示帧率也不会增加生成吞吐；其中一个姿态到JPEG指标甚至不包括网络和头显。读“实时”时，要继续问整条控制链的延迟和长时间一致性。
来源与延伸阅读
- NVIDIA：从桌面任务到临床场景研究团队原文 · 10月20日新模型、蒸馏、VR动作对照与后续研究方向；临床验证仍待进行。
- 模型卡：训练范围、输出与作者性能表NVIDIA模型卡 · 固定版本训练筛选、28维动作、不同硬件与分辨率；不是本站实测。
- 运行说明：检查点、预设与三种时间原仓文档 · 固定提交两步/四步权重对应不同预设，模型时间、采集时间与显示时间分开。
- 两个独立的公开权重文件固定模型仓目录 · exp15文件名标注bf16的2-step和4-step safetensors各约30.35GB，并提供各自SHA-256；没有下载或运行这些权重。
接下来值得看的是可反复检查的交互
对机器人研究者，这种环境的可能用途是让同一策略从固定场景尝试不同动作，观察失败怎样出现，再决定哪些条件值得带到实物实验。眼前公开的是研究模拟器；策略评价、合成数据或自主操作是用途与研究方向，不是已经完成的患者效果证明。
要自己接入，先把两步、四步权重与运行说明里的对应预设配好，再看显存和控制条件。默认配置超过32GB显存，实时入口还需要两只可追踪控制器与HTTPS，普通电脑不能直接照搬作者的运行结果。公开模型仓和包内文档能对应到这两份文件，顶层README却仍保留旧版本提示；实际接入时宜固定版本并验证加载，不能只看模型名称。
最有价值的下一份材料，会把固定初始帧、动作、种子、权重与缓存条件留给别人，并展示长轨迹、反向运动和失败片段，再用测量与专家评价检查结构和组织响应。本文先把原片看见的动作差异与作者的吞吐数字分开；它打开了一个可交互生成环境的方向，可靠性仍要沿着这些具体问题接着看。
来源与延伸阅读
- NVIDIA：从桌面任务到临床场景研究团队原文 · 10月20日新模型、蒸馏、VR动作对照与后续研究方向；临床验证仍待进行。
- 模型卡：训练范围、输出与作者性能表NVIDIA模型卡 · 固定版本训练筛选、28维动作、不同硬件与分辨率；不是本站实测。
- 运行说明：检查点、预设与三种时间原仓文档 · 固定提交两步/四步权重对应不同预设，模型时间、采集时间与显示时间分开。
- 安装条件与实时控制入口原仓首页 · 固定提交Linux、NVIDIA GPU、默认超过32GB显存、双控制器WebXR；模型资产单独提供。
- 两个独立的公开权重文件固定模型仓目录 · exp15文件名标注bf16的2-step和4-step safetensors各约30.35GB，并提供各自SHA-256；没有下载或运行这些权重。