3D Reconstruction

论文想解决的问题 这篇论文是针对primitive base的3d重建方法中的高保真和高效率的trade off问题。首先primitive base的3d重建方法是将复杂几何蒸馏为紧凑、可解释、可编辑的解析组件。论文分析这种trade off问题的原因有两个： 1.常用基元族（立方体、超二次曲面、椭球体）表达力有限，需要大量实例才能覆盖丰富的形状变化 2.推理过程本身有缺陷——依赖固定分割的方法（analysis-driven）对分割错误敏感，而纯优化方法（optimization-driven）必须穿越高度非凸的损失景观。 解决思路 没看过这个领域，所以介绍一下相关工作： 基元推理方式：论文把已有方法分为三类，第一类形状分析驱动-先用几何数据将形状分割为区域，再往每个区域里拟合图元。先分割再定图元，分割定死之后，导致和图元并不完全适配。第二类是优化驱动-直接优化整图的图元参数拟合误差，比较依赖好的初始化。第三类是学习驱动方法（deeplearning），学习驱动的问题就是泛化问题，关联性学习的问题。 基于的表示方式： 图元族 代表 优点 缺陷 立方体/圆柱 [8, 36] 可解释、易编辑 表达力太弱 超二次曲面 (Superquadrics) [2, 7, 26] 形状空间更广 牺牲可编辑性，且无法精确表示立方体、锥体等常见实体 代数曲面 (Algebraic surfaces) [43] 表达力强 不可编辑 广义圆柱 (Generalized cylinders) [31, 47] 更灵活 重建保真度仍不足 神经隐式部件 [8, 9, 27, 42] 表达力最高 黑箱、昂贵、难以控制与复用 论文建立了一个可微的八参数可变形的模型SuperFrustum，可变形针对常用基元簇表达力有限的问题，可微+ResFit针对的是先分割再拟合的误差累积。 核心方法 问题定义：任务的输出是一个 3D shape，比如生成模型的 SDF 网格，输出是一组解析基元，这些基于通过组合算子可以合成一个闭合曲面 $ E(z) $. 优化目标为： $$ z^∗=arg⁡max_⁡R(x,E(z))−α|z|$$第一项为重建误差，第二项为复杂度惩罚 ResFit：Residual Primitive Fitting 纯优化方法（自下而上）容易让图元纠缠在一起，而纯分析方法（自上而下）在分割形状时根本不考虑所用图元族到底能表达什么。分析派先做几何分割（分割对了，图元未必拟合得好；分割错了，误差就固化下来），优化派只盯着损失函数往下走（可能为了保真堆出大量重叠图元，却毫无结构可言）。ResFit 的解法是让这两者交替进行、互相喂信息。 ...

原本看这篇论文以为是一个比之前更接近真实世界的3d生成新任务，还想着水他一篇，但是看了之后发现数据集不公开，做的话也没那么多资源，但是meta的工作，所以主要从这里边学习大厂大规模研究的工程和技术细节:数据pipline怎么做，训练策略以及实验评测设计。 纯大厂风格的力大砖飞工作，鉴定完毕，又浪费一天，tmd。（没有看不起的意思，我觉得我的小作坊编故事风格的工作还不如这种，这种至少有用） 论文想解决的问题 这篇论文要解决的是三个层层递进的问题，一个是旧3d重建任务针对单个物体，但是真实世界中的物体通常有遮挡，远距离等各种影响。这篇论文要解决的是一整个真实场景的3d重建，在重建场景中每个物体的同时预测物体的具体位姿以重建整个场景。因此就会引出第二个问题，3d模型数据不像自然2d图像和语言数据，自然界存在很多，合成数据有sim2real的问题要解决。然后就是标注问题，分类任务普通人就能标注，极低成本获得大量数据，但是3d建模需要专业技术。 解决思路 三个问题是递进的，解决了标注和数据问题，设计迭代模型反而简单。所以先从标注成本入手，普通人不能进行3d建模，但是能区分3d建模质量的高低（Human in loop - HIL），设计了MITL pipline，让普通人从几个候选中挑选并且对齐位姿（怎么获得候选个问题，就是冷启动问题，核心方法会写）。用这个pipline收集大规模的数据，然后针对真实世界的复杂性设计了方法和仿LLM的训练策略，（合成预训练-半合成中期训练-真实数据后训练）。 核心方法 网络结构 每个部分的具体实现： Encoder：Encoder全都使用DINOv2，得到4组条件token，一组是裁剪物体：通过掩码M以及对应的裁剪二值Mask对裁剪的图像I进行编码，提供聚焦的高分辨率的物体视图。另一组是全图I以及全图二值掩码，提供全局上下文线索。点云Encoder可选可不选，可以选用硬件采集也可以用其他深度估计方法来得到。 Geometry Model：论文的问题定义中把这个任务定义成了一个条件分布估计 $q(S, T, R, t, s|I, M )$，在具体的实现中又把整个任务拆成了两个条件分布，几何模型负责 $p(O,R,t,s∣I,M)$,回答物体在什么地方，大概长什么样子。（O是粗形状，R是6d pose，t是物体在相机系中的3维位置，s是在三个轴上的缩放）。输入图像和掩码经过编码后，送入一个 12 亿参数的流匹配 Transformer（flow transformer），采用 Mixture-of-Transformers (MoT) 架构——一种多模态 Transformer 变体，通过精心设计的 attention mask（Fig. 2 右图所示）让不同模态（图像、掩码、形状、位姿）之间既共享信息又保持各自的处理流（two-stream approach）。MoT 的特点是稀疏高效：不同模态有各自的 Transformer 层，只在多模态自注意力层做信息交互。（本质双流加交叉注意力） Texture & Refinement Model：这部分负责 $p(S,T∣I,M,O)$,从粗形状 O 中只保留"被占据"的体素（active voxels），跳过空区域，一个 6 亿参数的稀疏潜流 Transformer（sparse latent flow transformer）在这些活跃体素上做两件事——把粗糙的几何细节补全（比如把 643643 的粗体素细化成更高分辨率的形状 S），同时合成物体的纹理 T。 3D Decoders：得到Texture & Refinement Model的隐空间的特征表示之后，使用两个独立的解码器解码，一个mesh解码器用于传统建模行业，另一个Gaussian解码器用于实时渲染和新视角合成，两个解码器共享一个隐编码空间。 训练 ...