Paper

The SA-FARI Dataset: Segment Anything in Footage of Animals for Recognition and Identification 这篇论文提出了 SA-FARI——目前最大规模的开源野生动物多动物跟踪（Multi-Animal Tracking, MAT）数据集。 野生动物保护依赖自动视频分析，而多动物跟踪（MAT）是其中的基础任务——它支撑个体重识别（re-identification）和行为识别等下游应用。但领域内缺乏合适的基准：规模小、物种单一、时空多样性不足。 数据集核心指标： 11,609 个视频，2014–2024 年采集，覆盖 741 个地点、4 大洲； ~46 小时密集标注视频，99 个物种类别； 16,224 个 masklet 身份（单个个体动物的时空分割轨迹）和942,702 个边界框/分割掩码/物种标签。 masklet：由分割掩码（而非仅有边界框）构成的时序轨迹，是比普通 tracklet 信息量更丰富的标注形式；并且数据附带匿名化的相机陷阱位置。 Dataset Sites Species Videos Duration (h) Tracklets Segmentation Source AnimalTrack [51] — 10 58 0.23 2k ✕ YouTube GMOT [2] † — 4 16 0.03 1k ✕ YouTube TAO [17] / BURST [1] † — 51 429 3.60 1k ✕/√ Varied BuckTales [32] 1 1 12 0.21 0.7k ✕ UAV BaboonLand [18] 1 1 18 0.32 1k ✕ UAV KABR [26] 1 3 742 10.00 — ✕ UAV WildLive [16] 1 3 22 0.70 0.3k √ UAV CCR [4] 3 1 27 10.00 12k ✕ Video Camera MammAlps [20] 3 5 2,384 14.50 6k ✕ Camera Trap PanAf500 [8] 12 2 500 2.10 1.5k ✕ Camera Trap SA-FARI (ours) 741 99 11,609 45.78 16k √ Camera Trap 支持任务列表： ...

论文想解决的问题 这篇论文是针对primitive base的3d重建方法中的高保真和高效率的trade off问题。首先primitive base的3d重建方法是将复杂几何蒸馏为紧凑、可解释、可编辑的解析组件。论文分析这种trade off问题的原因有两个： 1.常用基元族（立方体、超二次曲面、椭球体）表达力有限，需要大量实例才能覆盖丰富的形状变化 2.推理过程本身有缺陷——依赖固定分割的方法（analysis-driven）对分割错误敏感，而纯优化方法（optimization-driven）必须穿越高度非凸的损失景观。 解决思路 没看过这个领域，所以介绍一下相关工作： 基元推理方式：论文把已有方法分为三类，第一类形状分析驱动-先用几何数据将形状分割为区域，再往每个区域里拟合图元。先分割再定图元，分割定死之后，导致和图元并不完全适配。第二类是优化驱动-直接优化整图的图元参数拟合误差，比较依赖好的初始化。第三类是学习驱动方法（deeplearning），学习驱动的问题就是泛化问题，关联性学习的问题。 基于的表示方式： 图元族 代表 优点 缺陷 立方体/圆柱 [8, 36] 可解释、易编辑 表达力太弱 超二次曲面 (Superquadrics) [2, 7, 26] 形状空间更广 牺牲可编辑性，且无法精确表示立方体、锥体等常见实体 代数曲面 (Algebraic surfaces) [43] 表达力强 不可编辑 广义圆柱 (Generalized cylinders) [31, 47] 更灵活 重建保真度仍不足 神经隐式部件 [8, 9, 27, 42] 表达力最高 黑箱、昂贵、难以控制与复用 论文建立了一个可微的八参数可变形的模型SuperFrustum，可变形针对常用基元簇表达力有限的问题，可微+ResFit针对的是先分割再拟合的误差累积。 核心方法 问题定义：任务的输出是一个 3D shape，比如生成模型的 SDF 网格，输出是一组解析基元，这些基于通过组合算子可以合成一个闭合曲面 $ E(z) $. 优化目标为： $$ z^∗=arg⁡max_⁡R(x,E(z))−α|z|$$第一项为重建误差，第二项为复杂度惩罚 ResFit：Residual Primitive Fitting 纯优化方法（自下而上）容易让图元纠缠在一起，而纯分析方法（自上而下）在分割形状时根本不考虑所用图元族到底能表达什么。分析派先做几何分割（分割对了，图元未必拟合得好；分割错了，误差就固化下来），优化派只盯着损失函数往下走（可能为了保真堆出大量重叠图元，却毫无结构可言）。ResFit 的解法是让这两者交替进行、互相喂信息。 ...

原本看这篇论文以为是一个比之前更接近真实世界的3d生成新任务，还想着水他一篇，但是看了之后发现数据集不公开，做的话也没那么多资源，但是meta的工作，所以主要从这里边学习大厂大规模研究的工程和技术细节:数据pipline怎么做，训练策略以及实验评测设计。 纯大厂风格的力大砖飞工作，鉴定完毕，又浪费一天，tmd。（没有看不起的意思，我觉得我的小作坊编故事风格的工作还不如这种，这种至少有用） 论文想解决的问题 这篇论文要解决的是三个层层递进的问题，一个是旧3d重建任务针对单个物体，但是真实世界中的物体通常有遮挡，远距离等各种影响。这篇论文要解决的是一整个真实场景的3d重建，在重建场景中每个物体的同时预测物体的具体位姿以重建整个场景。因此就会引出第二个问题，3d模型数据不像自然2d图像和语言数据，自然界存在很多，合成数据有sim2real的问题要解决。然后就是标注问题，分类任务普通人就能标注，极低成本获得大量数据，但是3d建模需要专业技术。 解决思路 三个问题是递进的，解决了标注和数据问题，设计迭代模型反而简单。所以先从标注成本入手，普通人不能进行3d建模，但是能区分3d建模质量的高低（Human in loop - HIL），设计了MITL pipline，让普通人从几个候选中挑选并且对齐位姿（怎么获得候选个问题，就是冷启动问题，核心方法会写）。用这个pipline收集大规模的数据，然后针对真实世界的复杂性设计了方法和仿LLM的训练策略，（合成预训练-半合成中期训练-真实数据后训练）。 核心方法 网络结构 每个部分的具体实现： Encoder：Encoder全都使用DINOv2，得到4组条件token，一组是裁剪物体：通过掩码M以及对应的裁剪二值Mask对裁剪的图像I进行编码，提供聚焦的高分辨率的物体视图。另一组是全图I以及全图二值掩码，提供全局上下文线索。点云Encoder可选可不选，可以选用硬件采集也可以用其他深度估计方法来得到。 Geometry Model：论文的问题定义中把这个任务定义成了一个条件分布估计 $q(S, T, R, t, s|I, M )$，在具体的实现中又把整个任务拆成了两个条件分布，几何模型负责 $p(O,R,t,s∣I,M)$,回答物体在什么地方，大概长什么样子。（O是粗形状，R是6d pose，t是物体在相机系中的3维位置，s是在三个轴上的缩放）。输入图像和掩码经过编码后，送入一个 12 亿参数的流匹配 Transformer（flow transformer），采用 Mixture-of-Transformers (MoT) 架构——一种多模态 Transformer 变体，通过精心设计的 attention mask（Fig. 2 右图所示）让不同模态（图像、掩码、形状、位姿）之间既共享信息又保持各自的处理流（two-stream approach）。MoT 的特点是稀疏高效：不同模态有各自的 Transformer 层，只在多模态自注意力层做信息交互。（本质双流加交叉注意力） Texture & Refinement Model：这部分负责 $p(S,T∣I,M,O)$,从粗形状 O 中只保留"被占据"的体素（active voxels），跳过空区域，一个 6 亿参数的稀疏潜流 Transformer（sparse latent flow transformer）在这些活跃体素上做两件事——把粗糙的几何细节补全（比如把 643643 的粗体素细化成更高分辨率的形状 S），同时合成物体的纹理 T。 3D Decoders：得到Texture & Refinement Model的隐空间的特征表示之后，使用两个独立的解码器解码，一个mesh解码器用于传统建模行业，另一个Gaussian解码器用于实时渲染和新视角合成，两个解码器共享一个隐编码空间。 训练 ...

ViT使用语义无关的背景块作为表示全局语义的捷径，在全局注意力和粗粒度语义监督的驱动下。这篇论文选择性地将补丁特征集成到CLS token中，减少了背景主导的快捷方式的影响，并在标签、文本和自监督的情况下，在12个基准测试中提高性能。 论文信息 标题：Vision Transformers Need More Than Registers 作者：Cheng Shi, Yizhou Yu, Sibei Yang (University of Hong Kong & Sun Yat-sen University) 会议/期刊：arXiv preprint (2602.22394) 链接：https://arxiv.org/abs/2602.22394 代码：https://github.com/ChengShiest/LAST-ViT 前置工作：Vision Transformers Need Registers (Darcet et al., ICLR 2024) 研究背景与动机 原始 ViT 中的 CLS token 用于聚合全局图像表示 Darcet et al. (ICLR 2024) 发现 ViT 的特征图中会出现异常的 high-norm artifact patches，提出添加额外的 register tokens 来吸收这些 artifacts 但这篇论文认为问题不仅仅是 artifact patches —— ViT 存在更根本的 lazy aggregation 行为，Lazy Aggregation：在图像级粗粒度监督下，ViT倾向于将前景语义"扩散"到大量背景patch中，利用背景token作为编码全局语义的捷径。 lazy aggregation是这篇论文贡献中提出的一个关键假设，但是我不认为应该这么局限于vit，我认为这是对于目前整个学习范式的问题，数据不可能做到面面俱到，模型在寻找最优解的时候可能会偏向于利用背景分析，比如dataset中所有bird类图片的background都是类似的，模型就会把背景作为一个主要判断依据，但是从另一个角度来看，又不能完全不考虑背景信息，例如一个像狗又像狼的生物，在野外会判断成狼，但是在农村院子里就是狗，虽然通过主体自身信息能做到百分之八十到九十的准确性，但是背景并非完全无用，就像我在我的论文中描述的一样。 ...

所有之前 这篇文章是我在阅读因果理论在视觉方面应用相关论文时的笔记总结,通过这篇文章，我希望能够系统地梳理相关论文的核心方法和我的理解和思考。 后边到了写作的时候，增加了一些写作的参考。写作思路部分会按照普遍论文的结构进行-摘要、引言、相关工作、方法、实验、结论来总结写作思路，当然也会根据不同论文的特点进行调整。 [TPAMI] A Causal Adjustment Module for Debiasing Scene Graph Generation 这篇论文想解决什么问题？ 这篇论文想解决场景图生成中对于长尾关系对的偏见问题，通过基于全局的统计量设计的一个后处理模块来调整模型的预测结果，从而提升模型在长尾关系对上的性能。 传统的去偏方法（重采样、重加权、调整方法）只关注关系分布 R 的长尾问题，但它们忽略了一个更深层的因果链条： 物体分布 O → 物体对分布 P → 关系分布 R : 物体分布 O ：不同物体类别的频率（如"人"很常见，“大象"很罕见） 物体对分布 P ：两个物体共同出现的频率（如<人, 椅子>很常见，<人, 大象>很罕见） 关系分布 R ：具体关系的频率 仅仅建模 O→P 是不够的,直观上，如果"人"和"树"都是高频物体，按 O→P 的逻辑，<人, 树>应该是最常见的物体对。但现实中，<人, 衬衫>比<人, 树>更常见，因为人和衬衫的共现（Co-occurrence）概率更高。 论文提出了 Mediator-based Causal Chain Model (MCCM)，将因果链修正为： $$ O→中介：共现分布 C​​→P→R $$核心方法 原理:从因果推断中引入 Average Treatment Effect (ATE) 概念，用于指导调整因子的学习。 反事实问题：如果能把物体对分布 P 从"高频状态”（p ）改为"低频状态"（p0​ ），模型的预测会如何变化？ 公式 20 展示了 CAModule 如何估计这种反事实效应： ...