最新发布的DeepSeek-VL2 – 源自DeepSeek的先进模块化专家视觉语义模型系列

DeepSeek-VL2指的是什么

DeepSeek最近发布了其最新的开源项目——大型混合专家（Mixture-of-Experts, MoE）视觉语言模型系列DeepSeek-VL2，在之前版本的DeepSeek-VL上实现了重大升级。这一新系列在多项任务中表现优异，涵盖但不限于图像问答、文字识别、文档理解（包括表格和图表）、以及目标定位等领域。该模型包含三个不同规模的变体：Tiny版拥有10亿激活参数，Small版有28亿激活参数，而标准版本则配置了45亿激活参数。与现有的开源密集型及MoE架构模型相比，在保持或减少激活参数量的同时，DeepSeek-VL2实现了相当甚至更优的性能表现。这一系列模型于2024年12月13日对外发布，并且支持高达1152×1152像素的分辨率和极端宽高比（如从9:1到 1:9），以适应更多样化的应用场景。通过训练更多的科研文档数据，DeepSeek-VL2提升了对各类科学图表的理解能力，还具备Plot2Code功能，能够根据图像生成相应的Python代码。

DeepSeek-VL2的核心特性

• 提供自适应分辨率功能DeepSeek-VL2具备处理最大至1152×1152像素图片的能力，并兼容从极窄到极宽（如比例为1:9和9:1）的各种尺寸，广泛适用于不同使用场景。
• 解读图形数据借助对科研文档资料的学习，DeepSeek-VL2能够轻易解析各类科学研究图像和表格。
• 代码生成器从绘图出发该系统拥有解析图片并编写相应程序的功能，能够基于提供的图像创建出Python编程语言的代码。
• 识别梗图DeepSeek-VL2具备分析各类梗图的能力，并能够实现更为深刻的理解。
• 视觉定位该模型具备零样本（Zero-shot）视觉定位的能力，能够依据自然语言的描述来识别并定位图像中的特定对象。
• Visualization of Narratives：借助DeepSeek-VL2，可以将若干图片连接成一个视觉叙事。

DeepSeek-VL2的核心技术机制

• 多重隐藏注意机制（MHA）DeepSeek-VL2 利用了 MLA 的注意力机制，并通过低秩键值共同压缩的方法，在推理过程中消除了键值缓存的限制，从而实现高效推理。
• DeepSearchMoE 框架在采用前馈网络（Feed-Forward Networks, FFNs）的过程中，DeepSeek-VL2 利用了 DeepSeekMoE 结构。这种高效的混合专家（MoE）系统能够以更低的成本培养出更为强劲的模型版本。
• 成本效益高的培训与推断过程在预训练过程中，DeepSeek-VL2 利用了包含8.1万亿个token的多样化高质量数据集，并通过监督微调（SFT）和强化学习（RL）来优化模型性能。相较于 DeepSeek 67B，新版本的成本降低了42.5%，KV缓存需求减少了93.3%，并且其最大生成吞吐量提升了至原来的5.76倍。
• 提供广阔的上下文视野：DeepSeek-VL2 拥有Searching For A Needle Within A Stack Of Hay在(NIAH)评估中表现优异，能够处理最多达128K的文本连续段落。

DeepSeek-VL2的官方仓库链接

• GitHub代码库：访问此链接以获取更多信息 – https://github.com/deepseek-ai/DeepSeek-VL2
• HuggingFace的模型集合库：在Hugging Face平台上可以找到由deepseek-ai开发的模型deepseek-vl2，其网址为上述链接所示。

DeepSeek-VL2的使用情境

• 对话自动化程序借助 DeepSeek-VL2 聊天模型，能够达成与用户间的自然语言沟通。
• 图片说明该模型能够依据图片中的元素创作出相应的说明文字。
• 编写程序代码DeepSeek-VL2 可依据用户的特定需求来创建代码，非常适合应用于编程与软件开发的场景中。