李飞飞团队开源数字孪生近似体自动化创建方法ACDC

在现实中训练机器人策略既不安全又昂贵，还难以扩展。虽然模拟环境可以提供大量廉价的数据，但模拟和现实之间有差异。这些差距可以通过“数字孪生”技术来缩小，数字孪生是现实世界的虚拟复制品，但制作成本高且无法广泛应用。为了解决这个问题，斯坦福大学李飞飞团队提出了“数字近似体”的概念。它不像数字孪生那样完全复制现实场景，而是创建与现实在几何和语义上相似的虚拟环境，成本更低，且有助于模型在不同场景下更好地泛化。基于此，团队开发了一种名为“数字近似体自动创建”（ACDC）的方法，设计了一个完全自动化的“现实到模拟再到现实”的训练流程，将现实场景转换为可交互的虚拟环境，训练后能直接应用于现实机器人策略。

01 技术原理—ACDC

包含三个连续步骤：1. 首先，从输入的 RGB 图像中提取与每个物体相关的信息。2. 接着，利用这些信息与资产数据库进行比对，找到与检测到的物体相匹配的数字模型（也就是 “数字孪生体”）。3. 最后，对选中的数字孪生体进行后期处理，并生成一个完全可交互的模拟场景。 ACDC主要通过实验回答以下几个问题：Q1: ACDC 能生成高质量的数字孪生场景吗？给定一张 RGB 图片，ACDC 能否捕捉到原始场景中的高级语义和空间细节？Q2: 在原始场景中测试时，基于数字孪生体训练的策略，是否能达到基于数字孪生体训练的策略相同的表现？Q3: 在不同于训练的场景中，基于数字孪生体训练的策略，是否比基于数字孪生体训练的策略具有更好的鲁棒性？Q4: 基于数字孪生体训练的策略，能否直接应用到真实世界而无需额外调整？首先看两个物体之间的距离最大值，再看场景里有多少物体被正确分类和建模。然后，比较原始场景和重建场景中物体位置的平均差距，以及物体的朝向差异。最后，计算物体边界框之间的重叠程度，用 IoU 来衡量物体匹配的精度。