这项由浙江大学、香港科技大学（含广州校区）、新疆大学、武汉轻工大学、天津大学以及产业机构Vorynel搭伙完成的策划，以预印本步地发布于2025年5月，论文编号为arXiv:2605.15597，有兴味真切了解的读者可通过该编号检索完整原文。

当代东谈主工智能要意会三维全国，就需要多数的"视觉原材料"——也等于从不同角度拍摄场景所得到的图像、深度信息和拍摄位置数据。可是，这些原材料如何蚁集，往往被策划者视为理所天然、不需要负责遐想的重要。这篇论文偏巧等于冲着这个"被淡薄的重要"来的。策划团队发现，拍摄角度的遴荐款式，从根底上决定了AI最终学到的东西好不好、准不准、有莫得重复滥用。他们为此遐想了一套名为COVER的全新方法，并用它构建了一个叫作念CM-EVS的全景图像数据集。接下来，就用一个搭伙全文的比方来解释这套系统——把整件事意会为"给一栋生疏的屋子拍房产相片"。

一、为什么"怪异拍"不行？——给屋子拍照时的窘境

假定你是别称房产影相师，被寄予为一套三居室拍一组"完整展示整套屋子"的相片。你不错遴荐在每个房间多拍几十张，确保万无一失；也不错只在门口拍一张，纰漏了事。但这两种作念法齐有问题：前者相片太多、多数重复，番来覆去齐是归拢面墙；后者相片太少，看不出卧室和卫生间长什么样。确实的好影相师会仔细接头：站在那处能拍到最多新内容？哪些角度是重复的？哪些角度会因为光芒或讳饰让相片失真？

AI的3D视觉学习濒临实足疏通的窘境，仅仅限度更大、更复杂。策划团队发现，现时多数3D场景数据集齐存在三类共同问题。第一类是"密集轨迹重复"，也等于像拍视频一样，镜头逐步扫过房间，相邻帧之间险些实足一样，多数帧齐在形色归拢面墙、归拢个边际，信息高度冗余。第二类是"各家递次不调节"，不同数据集有各自的拍摄合手法、深度方式、坐标系界说，拿来教师AI就好比归拢谈菜用了好几套不同的食谱，量杯单元齐不一样，末端天然强大。第三类是"启发式选点不靠谱"，有些数据集用纰漏合手法来决定在那处拍（比如每隔一米拍一张），这可能漏掉走廊拐角等重要区域，也可能在归拢区域拍了太多重迭的相片，况且这种选法往往产生"深度矛盾"——归拢个物体，从不同角度拍出来的距离数据对不上，就像你从左边量这扇门是2米远，从右边量却是1.5米，两张相片齐有，AI就不知谈该信哪张。

恰是因为这三个问题，现存的多数3D场景数据集——不管是Matterport3D、ScanNet++、HM3D如故Hypersim这些业内赫赫著名的资源——齐没能提供一个"直爽、可比较、几何一致"的全景教师接口。策划团队把我方的使命定位在一个常被淡薄的位置：3D钞票（屋子的几何模子）和AI教师之间的"不雅测层"。他们要作念的，等于把一个3D场景"翻译"成一组聪惠挑选出来的全景图像，既不遗漏紧迫区域，又不重复滥用。

二、什么是全景图像，为什么要用它？——一张相片看遍四面八方

世俗相片就像站在房间里往一个办法看，只可拍到前线一扇窗、一面墙。全景图像则不同，它用一种叫作念"等距柱状投影"（ERP）的款式，把从某少量动身、四面八方360度整个办法的视觉信息齐压缩进一张矩形图片里，就像把地球仪伸开周至国舆图那样——天然边缘会有些变形，但信息是完整的。

这种全景图像对AI学习三维场景有独到价值。一张ERP图像不单包含感情，还同期包含每个办法的"真实距离"（叫作念度量深度，也等于从相机到阿谁办法最近物体的本色米数），以及相机那时场所位置和朝向（叫作念位姿）。三种信息打包在沿途，就给了AI一个相配丰富的"房间快照"——不仅知谈这里有一张桌子，还知谈桌子离相机有多远、相机站在那处。这种方式在全景深度估量、全景场景重建、360度场景生成等任务中齐相配有用。

可是，领有好的方式还不够。如何聪惠地决定在哪些位置拍这些全景图，才是这篇论文确实要恢复的问题。

三、COVER：一个懂得"查漏补缺"又能"幸免矛盾"的选点方法

策划团队给我方的方法起了一个精巧的名字——COVER，中语根由是"遮盖"，全称是"基于等距柱状投影深度变形的遮盖导向视角筛选"。这个名字自己就谈出了中枢逻辑：选出能最大化场景遮盖、同期幸免深度数据水火不容的拍摄位置。

如故用房产影相师的比方来意会COVER的使命款式。影相师手里拿着一张屋子的3D模子，以及一份候选拍摄位置清单（可能有几百个点）。他们濒临的任务是：在有限的拍摄次数（比如只可拍25张）内，选出最有价值的25个位置。

COVER的作念法分红三个中枢方式，轮回进行。领先是"累积已知信息"——每拍一张，把这张全景图里测量到的整个深度信息更动成一派点云（你不错把点云设想成用密密匝匝的点形色出房间步地的三维舆图），把这张舆图存下来。其次是"用已知信息预判新候选点的价值"——关于还没拍的每一个候选位置，COVER会作念一个快速的低分辨率模拟：把之前积聚的点云"投影"到这个候选位置的视角里，望望这个位置能看到若干"也曾记载过的内容"（叫作念历史可见区域），再快速渲染一下这个位置自己能看到什么（叫作念探针帧）。两者一双比，就能筹备出三种像素：也曾解释过的像素（两边吻合）、全新的像素（候选点能看到但历史记载里莫得的）、以及矛盾的像素（候选点测量的距离和历史记载不一样，差距特出了阈值）。临了是"打分、选最优、更新舆图"——COVER用一个纰漏的公式给每个候选点打分：新像素的比例（越高越好，代表能看到更多新内容）减去矛盾像素的比例乘以一个处分悉数（这个悉数叫作念λ，默许值是0.35）。得分最高的位置胜出，确实高分辨率地渲染这张全景图，把新不雅测到的点云加入舆图，然后参加下一轮轮回。

这里有一个细节值得尽头施展：为什么不径直对整个候选点齐作念高分辨率渲染、然后再选最佳的？谜底是代价太高——一个典型场景可能稀有千个候选点，每次轮回好意思满部高清渲染，筹备量是最终只渲染K张采用图像的100到1000倍。COVER用低分辨率的快速预判代替高清渲染，天然会引入少量点舛讹，但这个舛讹是不错表面分析和限定的。策划团队在论文中严格施展注解了一条定理（引理1）：即使存在这种预判舛讹，2026世界杯中国压球官网COVER最终选出的K张图像所遮盖的场景内容，仍然不低于表面最优选法的遮盖量的(1-1/e)倍（鲁莽是63%），再减去一个与舛讹和矛盾率关连的附加亏空项。换句话说，COVER的性能是稀有学保证的，不会比表面最优差太多。实验数据也印证了这少量：COVER的快速预判方法在31个Blender室内场景上测试，比拟"全部高清预渲染"的精准方法，最终遮盖率的差距只消8.1个百分点，但筹备速率快了133倍。

深度矛盾阈值δ被设定为场景包围盒对角线长度的0.5%，不同着手的数据有各自的微调值。λ=0.35这个默许值不是拍脑袋定的，而是经过系统性实验考据的——策划团队在λ=0、0.05、0.1、0.2、0.35、0.5、0.75、1.0共8个取值上作念了对比实验，发现λ=0时系统径直"崩溃"，选出的点高度齐集在场景中某个偏边际的小区域里，遮盖率只消不到20%；而λ在0.1到0.5之间酿成一个广漠的褂讪平台，遮盖率齐在37%到43%之间，λ=0.35处于这个平台的中间，是保守而谨慎的遴荐。

COVER还有一个实用的"自动住手"机制：当新增的遮盖率收益连气儿两步齐低于1%时，就自动住手不时选点。这让归拢套方法能自符合地处理大小不同的场景——斗室间早早富余、大型通达式办公室则会多选几张，而不是整个场景齐强行选通常数目的相片。

四、COVER的完整经过：从原始3D钞票到递次全景数据

整个这个词COVER经过分三个阶段运行。第一阶段叫"钞票递次化"，负责把来自不同着手的3D场景（可能是Blender的.blend文献、3D扫描得到的.ply点云、或者仿真环境的模子）调节瞥换到归拢套坐标系和方式下。最终经受的全国坐标系是右手系，+X向右，+Y进取，+Z上前；相机坐标系解任OpenCV常规；位姿用一个四元数（四个数形色办法）加上相机位置来暗示；全景图用经纬度对应到像素的递次球面投影款式。

第二阶段叫"候选点生成"，负责在3D场景里撒出一批"备选拍摄位置"，然后用一个26办法+2个垂直办法共28条光芒的几何正当性锤真金不怕火过滤掉分歧理的位置。具体来说，七层过滤合手法分辨远离以下情况：相机嵌进墙里或屋顶、相机靠近几何体里面、相机卡在边际（特出一半办法齐被近距墙体讳饰）、相机被实足封锁的小空间包围、相机离墙太近、相机视线里险些看不到灵验深度范围内的名义、以及相机处于狭小罅隙末端。针对不同着手，候选点的生成款式各有各异——Blender室内场景用水平网格加上多层高度采样；HM3D仿真场景哄骗导航网格和房间标签来建议候选；ScanNet++真实扫描场景则从点云或网格上采样候选位置。

第三阶段等于之前先容的"预算内狡计选点"轮回，也等于COVER的核默算法。从一个被选为种子点的开动位置动身（选距场景包围盒中心最近的32个候选中单视角遮盖最大的阿谁），反复现实"低分辨率评分→选最高分→高分辨率渲染→更新点云舆图"的轮回，直到预算用完或收益降到阈值以下。

除了上述三个阶段适用的"策展适配器"（针对Blender室内、HM3D、ScanNet++），策划团队还为另外两个数据源提供了"重编码适配器"（针对TartanGround和OB3D）。这两个着手自己也曾提供了密集的轨迹式RGB-D-位姿序列，是以不需要再运行COVER来选点，只需要把它们的方式调节瞥换成CM-EVS的递次方式即可。调节时，立方关怀图渲染被从头编码为等距柱状全景图，位姿被从头抒发为调节的右手Y轴进取的全国到相机变换，然后完整的轨迹序列四肢户外全景数据沿途发布。

五、CM-EVS数据集：这批精挑细选的全景相片长什么样？

用COVER处理完整个着手之后，得到的等于CM-EVS（Coverage-curated Metric ERP View Set，遮盖导向度量等距柱状图视图集）。这是一个包含多个着手、调节方式、附带完整溯源日记的全景RGB-D-位姿数据集。

就数目而言，博亚体育室内策展中枢部分包含来自1275个场景的36373帧全景图像，具体散播是：Blender室内场景374个、共13631帧，图像分辨率2048×1024，中位数深度1.85米，以CC-BY 4.0契约实足公开；HM3D场景401个、共14475帧，分辨率1024×512，中位数深度1.63米，因版权摈弃提供新生成剧本；ScanNet++场景500个、共8267帧，分辨率1024×512，中位数深度1.38米，通常提供新生成剧本。户外膨胀部分来自TartanGround的63个环境共783944帧（完整轨迹，每环境中位数9360帧）和OB3D的12个场景共2400帧。加总起来，整个这个词数据集包含1350个场景单元共822717帧。

每一帧图像齐附带三种模态的信息：全景RGB图像（完整的360度彩色图）、米轨制量深度图（每个像素方进取最近名义的本色米数，float32方式）、以及校准好的相机位姿。关于由COVER生成的室内帧，还非凡附带每一步的溯源日记，记载了该方式的遮盖收益Gt、深度冲突率Lt、空洞评分st，以及整个候选点的位置信息和最终被选中的视点。这意味着用户不仅拿到了数据，还拿到了"这些数据是若何被选出来的"的完整记载，不错用来复现、会诊，或者替换成其他选点政策在归拢批候选点上从头跑。

场景类型千般性是CM-EVS的一大特色。策划团队将整个场景手动归入13个调节的粗粒度房间类型（卧室、客厅、厨房、餐厅、浴室、办公室、走廊、保藏间/杂物间、交易/泊车、教室、路线/楼梯、阁楼/地下室、藏书楼/书斋，以及科幻、玄幻、游戏、动漫等作风化类别），CM-EVS是对比的五个基准数据齐集独一遮盖全部13个类别的。其香农熵为3.10比特，与Matterport3D（3.15比特）和Hypersim（2.98比特）处于归拢层次，基尼齐集度悉数为0.49（越低代表散播越均匀）。Blender室内数据补充了真实扫描场景清寒的交易空间、阁楼、地下室、藏书楼等类型，而HM3D和ScanNet++则提供了多数住宅类房间（卧室+客厅+厨房共计特出60%）。

低冗余度是CM-EVS最明显的特征。室内场景每个场景中位数只消25帧，最少的ScanNet++场景不错低到12帧，最多的复杂Blender室内场景也不特出53帧（IQR跨度是27到53帧）。比拟之下，Hypersim每场景168帧、Matrix-Pano约138帧、360DVD约100帧、Matterport3D约120帧，CM-EVS鲁莽只用了这些数据集的四分之一到七分之一的帧数。从一个具体例子来看：在一个通达式办公室场景（有宽待区、会议室、使命站群组、小厨房四个功能区）中，K=8时在鲁莽第6步就遮盖了全部四个功能区；K=30时，遮盖收益在鲁莽第22步就降到了1%阈值以下，施展此时场景也曾被充分遮盖，不时拍仅仅滥用。

六、与现存方法的对比：COVER的上风在那处体现？

策划团队在实验中将COVER与四种基线方法进行了系统对比，整个方法在归拢批候选点、归拢个开动种子点上运行，以确保平正。

第一种基线是"随即选点"：从候选点里随即选K个，实足不接头遮盖或冲突。第二种是"单视角探针"：只从开动种子点的视角动身评估整个候选点，然后选前K个，相配于用第一张相片的视角判断后续整个相片的价值，不迭代更新。第三种是"纯遮盖狡计"：实足按照每步新增遮盖率排行，不接头深度冲突（等价于λ=0的COVER）。第四种是"纯低冲突"：实足按照深度冲突率最低来排行，不接头遮盖收益。

在K=4的固定预算实验中，随即选点和单视角探针的遮盖率分辨只消0.96%和0.21%（这两个非迭代方法因为莫得哄骗已知信息来提醒后续遴荐，弘扬极差）；纯遮盖狡计达到10.55%遮盖率但冲突率为1.93%；纯低冲突达到10.25%遮盖率冲突率1.64%；而COVER则达到10.32%遮盖率、冲突率1.70%。直不雅上看，COVER的遮盖率与纯遮盖狡计险些疏通（仅差0.23个百分点），但冲突率比纯遮盖狡计低了12%，同期又比纯低冲突方法的遮盖率更高。这施展λ=0.35的处分项起到的是"从头排行"的作用，而不是"缩减遮盖"的作用。

在K=30的更大预算实验中，跨三个着手的测试末端披露：Blender室内场景遮盖率0.413、冲突率0.018；HM3D场景遮盖率0.393、冲突率0.071；ScanNet++场景遮盖率0.735、冲突率0.010。ScanNet++的遮盖率跳动约1.8倍，这是因为ScanNet++的场景齐是单个房间大小的小空间，候选点少、狡计选法很快就能富余。HM3D的冲突率跳动4倍阁下，与它的真实扫描着手的几何噪声更大一致。尽管三个着手在统计本性上各异如斯权贵，归拢套固定超参数（λ=0.35，早停τ=1%，m=2步）在三个着手上齐给出了褂讪的运行末端，莫得出当今某个着手上尽头好但另一个着手上崩溃的情况。

七、这套方法的规模和畴昔策划

策划团队在论文中也坦诚地指出了若干局限。整个这个词评估聚焦在"策展层"的目的上——也等于遮盖率和深度冲突率——而不是AI鄙人游任务（比如全景深度估量、新视角合成、3D重建）上的本色弘扬升迁。这不是规避，而是对论文使命规模的古道界定：COVER和CM-EVS提供的是原材料和筛选器具，具体用这些材料教师的AI能不行比用其他数据集教师的AI更好，需要另外的实验来考据。

HM3D和ScanNet++的帧图像因为版权问题不行径直发布，用户需要按照发布的适配器剧本，在我方本旨上游许可契约后土产货从头生成，这增多了使用门槛。户外全景帧（TartanGround和OB3D）是完整轨迹重编码，莫得经过COVER筛选，也莫得每步的溯源日记，与室内策展帧作假足平等。

50个被记载在案的"失败案例"也揭示了系统的薄弱重要，并被归类为五种失败模式：相机镶嵌墙体或靠近墙壁（F1）、网格或扫描不完整导致深度图出现大片虚浮（F2）、点云重建产生的"溶化"几何或幽魂点（F3，主要出当今ScanNet++的点云适配器模式）、材质或光照失败导致图像全黑或全洋红（F4，仅出当今Blender合成场景）、以及场景超出室内范围成为半室外或实足户外环境（F5）。这些失败案例齐已被摒除在公成立布的数据除外，并连同完整的帧序列、深度图和位姿文献沿途打包在坏案例目次里，让用户不错我方复现并意会这些失败是如何发生的。

策划团队已狡计了v1.1版块的改换路线：收紧墙体相近渡过滤（处分F1残余），在每步溯源日记中新增无效深度像素比率字段（浅显用户按质料排序，处分F2），为ScanNet++提供可选的网格重建回退旅途（处分F3），以及新增渲染后颜色直方图锤真金不怕火（远离特出20%纯洋红或纯黑像素的帧，处分F4）。同期，团队策划将COVER膨胀到动态场景，并在发布的帧上系统评测全景深度估量、全景新视角合成、3D重建和全国模子预教师等卑鄙任务。

说到底，这篇论文作念的事情是给AI的"视觉进食"款式作念了一次透澈的优化。昔时群众往往是把一堆相片塞给AI，多多益善，或者用纰漏合手法怪异挑几张，而这个团队负责策划了"到底该在那处拍、拍若干才够、若何确保不同角度的深度数据不打架"。他们用数学施展注解了这种狡计选法的合感性，用实验考据了它在速率和质料上的均衡，还把整个这个词选点过程的每一个细节齐记载下来、公成立布，让任何东谈主齐能复现或改换。这种"把数据制作过程自己当成可审查、可复现的科研效劳"的立场，比数据集自己的限度更有价值。关于畴昔想要策划全景场景意会、三维重建或空间智能的策划者来说，CM-EVS不仅仅一个数据集，更是一套念念考"怎么聪惠地不雅察全国"的方法框架。有兴味真切策划的读者，不错通过arXiv编号2605.15597找到完整论文，并通过论文中提供的匿名代码仓库得到数据集和代码。

Q&A

Q1：CM-EVS数据集包含哪些内容，和其他3D场景数据集有什么区别？

A：CM-EVS包含来自1275个室内场景的36373帧全景图像，每帧同期提供360度彩色图、每像素办法的本色距离深度图和相机位姿，还有完整的选点溯源日记。与Matterport3D、ScanNet++等数据集比拟，CM-EVS最大的不同在于它的每个场景只用中位数25帧，比现存数据集少了4到7倍，但场景遮盖的完整性不差，13种房间类型全部遮盖，况且每一帧是若何被选出来的齐有详备记载。

Q2：COVER方法为什么要同期接头"遮盖率"和"深度冲突"两个目的，只优化遮盖率不行吗？

A：只优化遮盖率会导致选出的视点齐集在场景中某个特定区域，看似每步齐在增多新内容，本色上是因为选了一堆彼此相近、视角相似的点。实考据明λ=0时遮盖率只消18%，还不如加了处分的版块。更紧迫的是，若是不处分深度冲突，不同视角测量归拢物体的距离会产生矛盾，AI教师时就会学到水火不容的几何信息，影响最终模子质料。

Q3：COVER方法运行速率若何样，能用在大限度数据处理上吗？

A：COVER用低分辨率快速预判代替了对每个候选点的高清渲染博亚体育，在31个Blender室内场景的测试中，比拟"对整个候选点全部高清渲染再选"的精准方法，速率快了约133倍（仅用0.014 GPU小时，而精准方法需要1.74 GPU小时），最终遮盖率只亏空言8个百分点。整个这个词1275个室内场景的数据分析剧本在8块H100 GPU的作事器上约13分钟就能处理完。