TeleChat2-115B —— 由中国电信AI研究所开发的开放源代码星辰语义大型模型

TeleChat2-115B指的是什么？

由中国电信人工智能研究院（简称TeleAI）开发的大型语言模型TeleChat2-115B是星辰语义系列的一部分。该模型利用国内计算资源进行培训，并采用了包含10万亿Tokens的高质量中英文数据集。相比其前身，TeleChat2-115B在通用问答、专业知识、编程和数学问题上的处理能力有了显著增强。它还在多个评估排行榜上表现突出，在C-Eval评测Open Access模型综合排名中拔得头筹。该模型的开放源代码体现了国产大型语言模型训练技术的重大突破，对推动技术创新及产业应用具有重要意义。

TeleChat2-115B的核心特性

• 文字创作能够创造高水准的中文和英文内容。
• 多种语言兼容性支持能够对高质量的中文和英文语料进行训练，并处理这两种语言的文本信息。
• 跨平台多种格式支持：为了便于在各种环境中的部署与应用，我们提供了支持多种格式及兼容多个平台的权重文件。
• 高效率推断提供对单一及多个图形卡的推理支持，并包含长文本推理的优化功能。
• 接口与网络发布：该服务具备API接入与网页版部署选项，并兼容流式产出及连续会话功能。

TeleChat2-115B的运作机制

• 仅有解码器的架构采用纯粹的解码器架构来构建，专为文本生成的任务而设计。
• 旋转嵌入采用Rotary Embedding技术对位置进行编码，能够有效增强模型识别序列数据中相对位置特征的能力。
• SwiGLU激励函数采用SwiGLU激活函数替换常规的GELU激活函数，以增强模型的表现能力。
• 预归一化在RMSNorm中的应用采用以RMSNorm为基础的前置规范化来进行层级标准化处理，能够提升模型训练过程中的稳定性能。
• 将词嵌入与输出层的参数独立开来。分离词嵌入层与输出层（语言模型头部）的参数可以提升训练过程的稳定性并促进更好的收敛效果。
• GQA性能提升采用GQA（分组查询注意力）方法来减少注意力机制中的参数数量及计算需求，从而加快模型的训练与推断过程。

TeleChat2-115B的工程链接

• Git存储库：访问此链接以查看项目 – https://github.com/Tele-AI/TeleChat2

TeleChat2-115B的使用情境

• 人工智能客户服务系统作为客户服务的聊天机器人，我的职责是回应用户的咨询并解决他们的问题。
• 内容制作提供写作支持，创作各类文章、叙事作品及诗篇等内容。
• 文字转换达成中英翻译的高水平质量。
• 教育培训：致力于协助学生掌握语言技能并完成学业任务，促进他们对难懂的概念有更深的理解。
• 代码支持提供代码示例，以协助程序员应对编码挑战。
• 数据解析解析与评估文本资料，以提炼有价值的数据。
• 智能化检索提升搜索引擎效能，以获得更加精准的搜索反馈。