Aria – Rhymes AI发布的开源多模式本征混合专家(MoE)系统

Aria指的是什么？

Rhymes AI团队发布了名为Aria的全球首个开放源码多模态原生混合专家（MoE）系统，该模型能够解析并处理包括文本、代码、图像及视频在内的多种数据格式。它在执行语言和跨模态任务时表现出色，并与商业闭源模型相匹敌，同时保持了轻量级设计和快速响应的优势。Aria具备长达64K令牌的扩展上下文窗口功能，这使其能够有效应对复杂长篇文档及视频内容的数据处理需求。该模型的相关权重、软件库和技术文档均已公开共享。通过其开创性的架构与训练策略，Aria为开发者和研究者在多模态人工智能领域开辟了新的探索路径。

Aria的核心特性

• 多种形态的解析能力能够同步解析与掌握包括文字、编程代码、图片及视频在内的多种数据格式。
• 高效的任务执行在处理多模态任务、语言理解及编码工作时表现出色。
• 处理较长文本的能力具备64K token的大容量上下文窗口，能够高效管理长时间视频及大型文档。
• 开放源代码的灵活性与拓展能力通过开放模型权重及代码库，Aria能够获得更广泛的采纳与持续发展。

Aria的工作机制

• 混合专家系统（MEC）采用精细划分的专家混合（MoE）结构，每项文字符号都能触发大量的模型参数，从而达到卓越的参数使用率及计算效能。
• 图像编码器创建一个简约型视觉编译器，以适应各种尺寸与宽高比例不同的图像输入，并把这类视像数据转化为机器可识别的信息单元。
• 四个步骤的培训程序涵盖语言的初步训练、多种模式的联合培训、扩展背景信息的预先学习以及后续的多元模式优化，旨在不断提升模型处理各类模式相关任务的表现力。
• 专业人士平行与资料平行在培训期间，通过采用专家并行与ZeRO-1数据并行策略，有效提升了模型的表现力及训练速率。

Aria项目的仓库位置

• 官方网站项目：初次开放的多模态原生混合专家模型
• Git代码库：在GitHub上可以找到名为rhymes-ai的用户创建的一个项目叫做Aria，网址是https://github.com/rhymes-ai/Aria。
• HuggingFace的模型集合库访问该链接以查看由rhymes-ai创建的Aria模型：https://huggingface.co/rhymes-ai/Aria
• 关于技术的arXiv论文在学术预印平台ArXiv上发布的一篇研究论文中（文档链接：https://arxiv.org/pdf/2410.05993），研究人员分享了他们的最新发现。这篇文献探讨了特定领域的创新方法和理论进展，为该领域内的学者及从业者提供了宝贵的知识资源与见解。

Aria的使用情境

• 自动化的客户支持服务Aria具备解析用户以文字、图像及视频形式提出的查询的能力，并能够给出精准的答复和建议。
• 内容审查对社交媒体中的文字、图片及视频信息进行解析与解读，并甄别屏蔽不适宜的内容。
• 教育培训Aria作为一种教学辅助工具，能够解析教材信息并与学生进行交流，进而给予定制化的学习指导和支持。
• 人工智能助手融入智能家居系统和个人助手装置后，Aria具备解析声音与图像命令的能力，能够协助用户操作设备并检索资讯。
• 医学图像解析在医学界，Aria协助医师解读X光片、磁共振成像及各类医疗图像数据，从而提升诊断的精确度。
• 制作与修改视频材料Aria具备解析视频信息的能力，并可自动创建视频概要或是依照用户的指示来调整视频。