NanoVLM-AnyRes

Sun, 31 May 2026 00:00:00 +0000

AnyRes（动态高分辨率）是 LLaVA-NeXT 1.6 的核心创新，解决了固定分辨率下细节丢失的问题：将图像按纵横比自适应切分为多个 tile，每个 tile 独立编码后和全局缩略图一起送入 LLM。NanoVLM 在保留原始单图模式的基础上新增了 AnyRes 能力，两个模式通过一个布尔值切换。

问题：固定分辨率的瓶颈

NanoVLM 的基础版本将每张图 resize 到 384×384，经 SigLIP 编码为 729 个 visual token。这对大多数自然图像够用——但遇到高分辨率图像（文档、OCR、大场景）时，细节会被压缩到不可辨认。

一个具体的例子：

原始图像: 1920×1080 的截图（包含文字）
 ↓ resize 到 384×384
丢失了 (1920×1080) / (384×384) = 14× 的像素信息
 ↓
文字模糊到 LLM 无法识别

AnyRes 的思路很直接——不要压缩整张图，而是把大图切成多个小图，每个小图保持清晰。

核心算法

处理流程

原图 (如 1200×800, AR=1.5)
 │
 ├─ Step 1: 选 grid → 2×2（4 tiles）
 │
 ├─ Step 2: 生成缩略图
 │ resize → 384×384 → 729 tokens（全局上下文）
 │
 └─ Step 3: 切分 + 编码 tiles
 原图 → resize_to_fit(768×768) → 切成 4 个 384×384 tile
 tile[0,0] → SigLIP → 729 tokens
 tile[0,1] → SigLIP → 729 tokens
 tile[1,0] → SigLIP → 729 tokens
 tile[1,1] → SigLIP → 729 tokens
 ─────────
 总计: 5 × 729 = 3645 tokens

关键细节：缩略图保留全局上下文，tiles 保留局部细节。两者互补——缩略图告诉 LLM"这是一张包含文字和图表的信息图"，tiles 告诉 LLM 文字具体写了什么。

NanoVLM-LLaVA

Wed, 06 May 2026 00:00:00 +0000

总结了NanoVLM（LLaVA格式）的背景、原理、核心代码、实现细节。最开始只是LLaVA思想的初步实现，即使用一个线性层（或MLP）将视觉特征转换为文本特征，或者说是将视觉特征和文本特征对齐，后边会慢慢加入LLaVA-1.5、LLaVA-NeXT、LLaVA-OneVision的思想。

LLaVA

LLaVA 最初的结构如下:

其中， Xv为输入图像，而Xq为输入文本指令。 Xv经过冻结的预训练视觉编码器（例如CLIP的视觉编码器）转换为视觉特征, 又进一步经过一个简单的线性层W转换为文本特征,便可和文本指令特征Hq一起送入LLM进行处理。

LLaVA的训练目标为LM:

$$ p(\mathbf{X}_{\mathrm{a}} \mid \mathbf{X}_{\mathrm{v}}, \mathbf{X}_{\mathrm{instruct}}) = \prod_{i=1}^{L} p_{\boldsymbol{\theta}}(x_i \mid \mathbf{X}_{\mathrm{v}}, \mathbf{X}_{\mathrm{instruct}}, \mathbf{X}_{\mathrm{a}, < i}) $$

即基于当前图像、历史指令、历史答复预测新一轮的答复。整个训练过程包含两步：

步骤1: 固定Vision Encoder和LLM，预训练Projection 以实现图像和文本模态对齐；

步骤2: 放开LLM，进行端到端的训练。

原始 LLaVA 1.0 的具体配置

组件	配置	参数量
Vision Encoder	CLIP ViT-L/14@224²	~300M
Projector	单层 Linear (1024→4096)	~4.2M
LLM	Vicuna-7B/13B	7B/13B

Vision Encoder：使用 OpenAI 预训练的 CLIP ViT-L/14，输入分辨率为 224×224。patch_size=14，因此每张图产生 $(224/14)^2 = 256$ 个 patch token + 1 个 CLS token，每个 token 维度为 1024。视觉编码器在整个训练过程中完全冻结。