新的世界模型，地平线和伟大的刺穿的新突破

近年来，在人工智能从理解决策中的情报的智能中发展，世界的模型逐渐成为机器人领域研究的重要方向。世界模型旨在允许代理商对环境进行建模并预测未来的状态，从而提供更好的计划和决策。同时，包含的数据被带到了爆炸中。由于当前的体现算法高度依赖于真实机器人的大规模演示数据，因此获得这些数据的过程通常是昂贵，最新和强烈的劳动力，这些过程通常会严重限制可扩展性和能力。尽管模拟平台提供了一种相对较低的生成数据的方法，但是由于模拟气氛与现实世界（即SIMS到真实的差距）之间存在明显的视觉和动态差异，因此在模拟中训练的技术很难直接直接移动到真实的R到真实的RObots，从而限制了它们对应用的实际影响。因此，如何获得，生产和使用高质量数据已成为当前机器人研究领域的主要挑战之一。最近，中国科学院和其他单元的Horizo​​n，Jijia Technology和Automation of Automation of Automation提出了一个基于扩散模型的视频生成框架的Robotransfer，该框架可用于扩展机器人策略的训练数据。由于差异不同的合成数据，在新方案中，流策略模型可以显着提高251％，这极大地改善了该方法的一般一般方法，该方法为大学奠定了稳定的基础和体现情报的暴力。纸张标题：Robotransfer：几何视频视频扩散对机器人视觉策略转移纸链接：https：//arxiv.org/pdf/2505.23171项目homepage：https：//horizo​​nrobotics.github.io/robot_io/robot_lab/robobotransfransf.通过允许机器人“模仿”专家教授的实践，有效的策略模型可以快速建立在复杂的任务上。但是，这种方法通常依赖于真正的机器人的大量高质量演示数据，并且数据提取的过程很昂贵，并且周期很长，这严重阻止了可扩展性和放置功能。为了解决上述问题，这项工作建议Robotransfer是基于扩散模型的视频生成框架，该框架旨在实现机器人操作的质量数据综合。与传统的仿真方法或现有的正式模型不同，Robotransfer合并的多视图几何信息并实现了场景中关键组件的明确控制（例如背景，对象属性等）。具体而言，Robotransfer引入了交叉观看接触机制，以及全球深度地图和正常地图用作输入条件，以确保在许多透视上生成视频的几何一致性es。此外，该框架还支持精炼编辑的编辑控制，例如改变背景，改变目标对象等。实验结果表明，Robotransfer可以产生具有较高几点一致性和视觉质量的视图的视频序列。此外，使用机器人转移合成数据训练的机器人视觉策略模型在标准测试中显示出显着提高的性能：在替换前景对象的情况下，相对提高的成功率为33.3％，在更具挑战性的背景下，取代前景对象的251％显着提高了251％）。机器人转移的总体框图如下。为了确保视频生成过程中许多观点之间的一致性，Robotransfer引入了多视图机制，以便生成过程可以将信息从各种见解中结合起来，从而改善了空间相干性和视觉合理性。另外，就控制条件，机器人转移通过将控制信号分解为两个部分：几何信息和外观（纹理）信息来实现生成内容的精细控制。具体而言，在几何控制方面，使用具有强结构结构（例如深度图和正常地图）的表示方法来指导视频对象的三维空间结构的生成，以确保从不同视图中生成的内容的几何一致性。在控制控制方面，该模型使用参考对象的参考文献和目标对象的参考图像作为输入条件。打折后，这些图片可以有效地维护原始场景的颜色信息，纹理和上下文，从而在生成过程中保持对象的外观的详细信息。在实验组件中，Robotransfer证明，可以通过实际到实体和模拟来实现数据的添加 - 真实和训练政策模型以提高其绩效。实际数据增强基于真实机器收集的真实视频数据。可以从中获得结构化信息作为控制条件。通过组织背景桌面和前景对象控制参数，可以实现新场景数据的综合。如下图所示，左侧是收集的数据和相应的结构化信息，右侧是合成的结果。实验表明，机器人转移可以替换背景桌布。更改前部：第一个行为是由真实机器收集的，第二个行为是深度地图，第三个行为是正常地图，第四个行为是立面对象的控制条件，第五个行为是合成的数据，并且适应性是背景控制控制条件。实验的以下结果表明，机器人转移可能意识到T的操作他表面表面前景对象，丰富生成数据的差异，并提高接近方法的技术质量。 SIM到现实数据增强机器人转移不仅可以更改真实机器数据的前后和背景，而且还可以实现渲染模拟数据。 CANG Robotransf将有关模拟数据以及真实场景的对象和背景的概述信息可以转换为现实的真实数据，从而大大降低了SIM到现实之间的差距，为通用机器人的实践提供了新的范式。以下是呈现两个不同的模拟场景的实验结果。左边是堆积的碗，右边是杯子。第一个行为是模拟和收集的数据，第二个行为是深地图，第三个行为是正常地图，第四个行为是综合数据，第五个行为是背景参考图。比较实验使用其他SOTA方法的基，发现在一致性方面，Robotransfer明显优于其他方法 - 许多MGA透视图之间的同一时间和一致性。实验量的实验结果如下表所示。该实验表明，在新场景中添加生成数据的前背景可以显着提高模型的成功率。对于新场景，前台背景彻底改变了，将数据添加到背景前线可以使进近模型可以提高251％的性能。表1添加了用于改进不同设置下的方法模型的数据，此方法生成了一个数据处理流，该数据可以生成包含几何控制条件和外观的三重数据，以训练基于机器人的机器人数据框架。实验和分析的结果表明，Robotransfer可以生成具有许多见解的数据，并且是GEO按照指数，可以根据参考图像更改前景和背景纹理。生成的数据用于训练机器人操作技术，从而显着提高了整体方法的功能。