Qwen2.5-VL视觉语言模型

论文总结：Qwen2.5-VL Technical Report

论文信息

  • 标题：Qwen2.5-VL Technical Report
  • 作者：Shuai Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge, Sibo Song, Kai Dang, Peng Wang, Shijie Wang, Jun Tang, Humen Zhong, Yuanzhi Zhu, Mingkun Yang, Zhaohai Li, Jianqiang Wan, Pengfei Wang, Wei Ding, Zheren Fu, Yiheng Xu, Jiabo Ye, Xi Zhang, Tianbao Xie, Zesen Cheng, Hang Zhang, Zhibo Yang, Haiyang Xu, Junyang Lin等
  • arXiv ID：2502.13923
  • 链接：https://arxiv.org/abs/2502.13923

研究问题

如何构建一个先进的视觉语言模型，在基础能力和创新功能方面都取得显著进展，特别是在视觉识别、精确对象定位、稳健文档解析和长视频理解等复杂任务上。

主要贡献

  1. Qwen2.5-VL模型系列：推出了Qwen视觉语言系列的最新旗舰模型，在基础能力和创新功能方面实现重大进展

  2. 精确对象定位能力：能够使用边界框或点精确定位对象，这是该模型的突出特性

  3. 稳健文档理解：从发票、表格中提取结构化数据，以及对图表、示意图和布局的详细分析

  4. 动态分辨率处理：引入动态分辨率处理和绝对时间编码，能够处理不同大小的图像和长时间视频（长达数小时）

  5. 秒级事件定位：在不依赖传统归一化技术的情况下，原生感知空间尺度和时间动态

  6. 原生动态分辨率ViT：从头训练的动态分辨率视觉变换器（ViT）结合窗口注意力，在保持原生分辨率的同时降低计算开销

  7. 多尺寸发布：提供三种尺寸模型，满足从边缘AI到高性能计算的多样化用例

  8. SOTA性能：旗舰版Qwen2.5-VL-72B模型匹配GPT-4o和Claude 3.5 Sonnet等SOTA模型，在文档和图表理解方面表现突出

  9. 保持语言能力：保持了稳健的语言性能，保留了Qwen2.5 LLM的核心语言能力

方法概述

1. 动态分辨率处理

核心机制：

  • 原生动态分辨率处理，无需传统图像归一化
  • 支持处理任意尺寸的图像输入
  • 保持空间信息的完整性

窗口注意力（Window Attention）：

  • 将注意力计算限制在局部窗口内
  • 降低计算复杂度和内存消耗
  • 在保持原生分辨率的同时提高效率

2. 绝对时间编码

视频处理能力：

  • 支持处理长达数小时的视频
  • 绝对时间编码提供精确的时间信息
  • 秒级事件定位能力

时间感知：

  • 原生感知时间动态
  • 理解视频中的时序关系
  • 支持复杂视频分析任务

3. 模型架构

视觉组件：

  • 原生动态分辨率ViT：从头训练的视觉编码器
  • 窗口注意力机制：提高计算效率
  • 多尺度特征提取：支持不同分辨率的输入

语言组件：

  • 基于Qwen2.5 LLM：保持强大的语言理解能力
  • 多语言支持：处理多种语言输入输出
  • 上下文理解：理解复杂的多轮对话

交互能力：

  • 对象定位：边界框和点定位
  • 工具使用：调用外部工具完成任务
  • 任务执行：在真实场景中执行复杂任务

4. 训练策略

多任务训练：

  • 视觉识别：识别图像中的对象和场景
  • 对象定位：精确定位目标对象
  • 文档解析：理解文档结构和内容
  • 视频理解：分析长视频内容

能力对齐：

  • 视觉-语言对齐：视觉特征与语言语义对齐
  • 空间-时间对齐：空间定位与时间信息对齐
  • 工具-任务对齐：工具调用与任务需求对齐

实验结果

整体性能

与SOTA模型对比：

  • Qwen2.5-VL-72B匹配GPT-4o性能
  • Qwen2.5-VL-72B匹配Claude 3.5 Sonnet性能
  • 在文档和图表理解方面表现突出

视觉任务性能

视觉识别：

  • 增强的视觉识别能力
  • 准确识别复杂场景和对象
  • 支持细粒度分类

对象定位：

  • 使用边界框精确对象定位
  • 使用点定位精确对象
  • 多目标定位支持

文档理解性能

结构化数据提取：

  • 发票信息提取
  • 表格数据提取
  • 表单信息提取

复杂文档分析：

  • 图表分析
  • 示意图理解
  • 布局识别

视频理解性能

长视频处理：

  • 支持处理数小时的视频
  • 准确理解长视频内容
  • 保持长时上下文

事件定位：

  • 秒级事件定位
  • 精确时间戳定位
  • 时序关系理解

交互智能体能力

真实场景应用：

  • 操作计算机
  • 操作移动设备
  • 执行复杂任务

工具使用能力：

  • 调用外部工具
  • 工具链式调用
  • 任务分解和执行

核心发现

  1. 动态分辨率的重要性：原生动态分辨率处理使模型能够保留完整的空间信息，避免传统归一化带来的信息损失

  2. 绝对时间编码的价值：绝对时间编码提供了精确的时间信息，使模型能够准确理解和定位视频中的事件

  3. 窗口注意力的效率：窗口注意力机制在保持模型性能的同时显著降低了计算开销

  4. 多模态能力的集成：将视觉识别、对象定位、文档理解和视频理解集成到统一框架中，提供了全面的视觉语言能力

  5. 边缘到高性能的覆盖：提供三种尺寸模型使Qwen2.5-VL能够覆盖从边缘设备到高性能服务器的广泛用例

  6. 语言能力的保持：在增强视觉能力的同时保持了强大的语言能力，实现了真正的多模态协同

结论

本研究提出了Qwen2.5-VL，Qwen视觉语言系列的最新旗舰模型，在基础能力和创新功能方面取得了显著进展。

主要贡献包括：

  • 引入动态分辨率处理和绝对时间编码，支持任意尺寸图像和长视频处理
  • 实现精确的对象定位能力，支持边界框和点定位
  • 提供稳健的文档理解，能够提取结构化数据和分析复杂图表
  • 从头训练原生动态分辨率ViT并结合窗口注意力，提高效率
  • 提供三种尺寸模型，满足从边缘AI到高性能计算的多样化用例
  • 旗舰版Qwen2.5-VL-72B在多个任务上匹配GPT-4o和Claude 3.5 Sonnet等SOTA模型
  • 在增强视觉能力的同时保持了Qwen2.5 LLM的强大语言能力

Qwen2.5-VL不仅是一个强大的视觉语言模型，还是一个能够理解、推理和使用工具执行任务的交互式视觉智能体。它在静态图像和文档理解以及长视频理解方面都表现出色，为从科研到实际应用的广泛场景提供了强大的多模态AI能力。

生成时间：2026年2月26日