Qwen3-VL多模态检索框架

论文总结：Qwen3-VL-Embedding and Qwen3-VL-Reranker

论文信息

  • 标题：Qwen3-VL-Embedding and Qwen3-VL-Reranker: A Unified Framework for State-of-the-Art Multimodal Retrieval and Ranking
  • 作者：Mingxin Li, Yanzhao Zhang, Dingkun Long, Keqin Chen, Sibo Song, Shuai Bai, Zhibo Yang, Pengjun Xie, An Yang, Dayiheng Liu, Jingren Zhou, Junyang Lin
  • arXiv ID：2601.04720
  • 链接：https://arxiv.org/abs/2601.04720

研究问题

如何构建一个统一的多模态检索和排序框架，能够将文本、图像、文档图像和视频等多种模态映射到统一的表示空间，从而实现高精度的多模态搜索。

主要贡献

  1. Qwen3-VL-Embedding模型系列：提供了一种将多种模态（文本、图像、文档图像、视频）映射到统一表示空间的方法，支持生成语义丰富的高维向量

  2. Qwen3-VL-Reranker模型系列：使用交叉编码器架构和交叉注意力机制，对查询-文档对进行细粒度的相关性估计

  3. 端到端检索流程：两个模型系列配合提供了一个端到端的高精度多模态搜索流程

  4. 灵活的嵌入维度：支持Matryoshka表示学习，实现灵活的嵌入维度

  5. 多语言支持：继承Qwen3-VL的多语言能力，支持超过30种语言

  6. SOTA性能：在MMEB-V2基准上达到77.8分，排名第一（截至2025年1月8日）

  7. 多尺寸发布：提供2B和8B参数规模，满足不同的部署需求

方法概述

1. Qwen3-VL-Embedding模型

多阶段训练范式：

  • 第一阶段：大规模对比预训练
  • 第二阶段：重排序模型蒸馏

主要特性：

  • 生成语义丰富的高维向量
  • 支持Matryoshka表示学习，允许灵活的嵌入维度
  • 处理高达32k token的输入
  • 多模态输入支持：文本、、文档图像、视频

2. Qwen3-VL-Reranker模型

架构：

  • 交叉编码器（Cross-encoder）架构
  • 使用交叉注意力（cross-attention）机制
  • 对查询-文档对进行细粒度的相关性估计

功能：

  • 对Qwen3-VL-Embedding生成的检索结果进行重新排序
  • 提高检索精度

3. 统一检索流程

  1. 检索阶段：使用Qwen3-VL-Embedding将查询和文档映射到统一嵌入空间，计算相似度进行初步检索
  2. 重排序阶段：使用Qwen3-VL-Reranker对检索结果进行细粒度的相关性重新排序
  3. 最终输出：返回重新排序后的最优结果

4. 技术基础

模型基础：

  • 基于Qwen3-VL基础模型构建
  • 继承Qwen3-VL的多模态理解和多语言能力

架构组件：

  • 多模态编码器：处理视觉和文本输入
  • 嵌入生成器：将编码后的特征映射到统一表示空间
  • 相关性估计器：精确评估查询-文档对的相关性

实验结果

整体性能

  • Qwen3-VL-Embedding-8B在MMEB-V2上达到77.8分，排名所有模型第一（截至2025年1月8日）
  • 在多个多模态嵌入评估基准上达到SOTA性能

具体任务能力

多模态检索任务：

  • 图像-文本检索
  • 文档-文本检索
  • 视频-文本匹配

应用场景：

  • 视觉问答（VQA）
  • 多模态搜索引擎
  • 文档智能检索
  • 视频内容搜索

多语言性能

  • 支持超过30种语言
  • 在多种语言对上都保持高性能

效率与性能权衡

  • 2B参数模型：适合资源受限环境，提供良好的性价比
  • 8B参数模型：提供最高性能，适合高精度需求场景

核心发现

  1. 统一表示空间的重要性：将多种模态映射到统一表示空间是构建有效多模态检索系统的关键

  2. 多阶段训练的有效性：从对比预训练到重排序模型蒸馏的多阶段训练范式显著提升了模型性能

  3. 重排序的必要性：仅依赖嵌入相似度可能不够精确，交叉编码器的重排序能显著提升检索精度

  4. 灵活嵌入维度的价值：Matryoshka表示学习允许用户根据计算资源需求动态调整嵌入维度，提供更好的部署灵活性

  5. 长输入处理能力：支持32k token的输入使模型能够处理长文档和复杂的多模态内容

结论

本研究提出了Qwen3-VL-Embedding和Qwen3-VL-Reranker两个模型系列，构建了一个统一的SOTA多模态检索和排序框架。该框架通过将多种模态映射到统一的表示空间，并结合重排序模块，实现了高精度的多模态搜索。

主要贡献包括：

  • 开发了支持文本、图像、文档图像和视频的统一嵌入模型
  • 提出了交叉编码器重排序架构以提升检索精度
  • 在MMEB-V2等多个基准上达到SOTA性能
  • 提供了2B和8B两种参数规模，适应不同部署需求
  • 支持超过30种语言的多模态检索

该框架为多模态检索领域提供了一个强大的端到端解决方案，在图像-文本检索、视觉问答、视频-文本匹配等任务上展现出卓越性能，有望推动多模态搜索引擎、文档智能检索等应用的发展。

生成时间：2026年2月26日