Oryx – 由腾讯携手清华大学及南洋理工大学共同研发的多模态大型语言模型

Oryx是指什么？

Oryx是一款由清华大学、腾讯及南洋理工大学共同开发的多模态大规模语言模型（MLLM），其特色在于采用了两项关键技术来优化图像处理能力：预训练的OryxViT架构与动态压缩单元。其中，OryxViT能够将各种分辨率的图片转换为适用于LLM的视觉信息形式；而动态压缩单元则具备按需在1至16倍范围内调整视觉标记的能力。这使得Oryx能够在处理多种分辨率及持续时间不等的图像和视频输入时表现出高度灵活性，无论是高质量的照片还是长时间片段均不在话下。此外，在多个结合了视觉与语言的任务评估中，Oryx展现出了优秀的性能表现，尤其是在空间定位及时序理解上尤为突出。

Oryx的核心特性

• 本地图像解析度管理Oryx具备处理各种分辨率视觉数据的能力，能够保存所有图像细节，非常适合需要高度精确视觉信息的应用场景。
• 实时压缩依据任务的具体要求，Oryx能够实现从1倍至16倍的视觉数据动态压缩功能，擅长管理如长时间视频之类的大容量资料，并有效提升处理速度。
• 跨媒体解析具备对图像、视频及3D资料的理解与解析能力，能够展现深厚的空间感与时序认知力，广泛适应各类视覺与语言结合的任务需求。
• 情境化搜索提升对视频资料情境的理解能力，从丰富的情境中寻找具体的信息。
• 对空间的理解与识别Oryx能够精确捕捉并理解3D环境中物件的定位与相互间的关系，从而提升对立体空间的认知能力。

Oryx的运作机制

• OryxViT架构经过预先训练的视觉编码器能够把具有多种分辨率的画面转化为一种可由大规模语言模型解析的视觉形式。
• 适用于动态位置的嵌入方法OryxViT采用了可调位置嵌入层的设计，使得该模型能够应对各种尺寸的图片输入，无需将图像统一至某一特定分辨率。
• 可变长度的自我注意机制该设计支持模型同时应对多种大小的图像信息，从而增强了其工作效率和适应性。
• 区域聚焦机制在动态压缩组件里，通过区域注意力机制让高分辨率与低分辨率的特征图进行互动，以缓解下采样带来的负面影响。
• 结合多种类型的数据进行训练通过利用包含图片、影片及三维资料的多样化数据集合来进行训练，可以增强模型处理多种类型信息任务的能力。

Oryx项目的网址

• 官方网站项目的入口：在github.io上的oryx-mllm页面
• Git代码库：访问该项目的GitHub页面可以使用这个链接 https://github.com/Oryx-mllm/Oryx。
• HuggingFace的模型集合：访问此链接以查看THUdyh创建的Oryx空间 – https://huggingface.co/spaces/THUdyh/Oryx
• 关于arXiv上的科技文章这篇论文可以在以下链接中找到：https://arxiv.org/abs/2409.12961，该网址提供了文档的访问入口。请注意，直接提供PDF链接的方式有所变化，请通过摘要页面获取详细内容和下载选项。

Oryx的使用情境

• 智能化监视系统利用Oryx对视频的理解功能，实现对监控画面中发生的各类事件与行为进行即时监测及解析。
• 自动驾驶技术在自动驾驶技术里，Oryx助力分析并解读周围环境信息，提升视觉辨识的精确度。
• 人际操作界面Oryx具备解析图像与视频信息的能力，使得人机互动更为顺畅且效率提升。
• 内容审查在社交网络及线上平台中，Oryx协助实现对不适宜内容的自动化甄别与筛选。
• 视频处理与优化Oryx具备自动化视频处理功能，包括创建视频概要和精彩瞬间剪辑等任务。
• 教育培训在教育教学中，Oryx利用智能化技术对图片及视频材料进行深入解析，支持教师授课与学生学习过程。