Phi-4 —— 拥有140亿参数的微软开源小型语言模型，专精于数学等领域中的高级推理任务

Phi-4指的是什么？

微软推出的拥有14亿参数的小型语言模型Phi-4，在复杂推理及传统语言处理任务中展现出卓越的能力，特别是在数学领域。该模型着重于数据质量的提升，并大量采用合成数据进行训练，从而显著提高了其在STEM问题解答和数学竞赛题目上的性能。此外，Phi-4采用了新的中期训练方法midtraining，这使得它能够更有效地处理长文本内容，上下文窗口长度扩展到了16K字符。特别是在编程任务上表现优异，在HumanEval基准测试中达到了82.6%的准确率，超越了包括70亿参数的Llama 3.3和72亿参数Qwen 2.5在内的开源模型。目前，Phi-4已经在Hugging Face平台上开放下载并可供使用。

Phi-4的核心作用

• 提问与回答的能力具备理解与解答各类问题的能力，在STEM（即科学、技术、工程及数学）范畴内尤为突出。
• 解答数学题目该模型在AMC 10/12美国数学竞赛中的成绩突破了90分大关，彰显出其卓越的数学逻辑思维能力。
• 编写程序任务Phi-4擅长处理编程相关的工作，具备理解及编写代码的能力，并能够应对各种编程挑战。
• 处理大量文本数据在midtraining阶段中，Phi-4能够管理长达16K的文本上下文，并维持高水平的召回率。
• 高级逻辑分析该模型在包括MMLU和GPQA在内的多项标准评估中，展示了其解决复杂推理问题的才能。
• 确保互动的安全性Phi-4在后期培训中实施了安全性校准，以保证其与用户互动时遵循负责的人工智能准则。

Phi-4的核心技术机制

• 使用生成数据进行培训在Phi-4的训练阶段，广泛采用了通过多智能体提示、自动修正及命令翻转等方法制造的合成数据，以此增强其推理与解决问题的能力。
• 中期训练环节在预训练与后训练中间添加的中期训练环节，增强了模型对长篇文本的处理能力。
• 选取长时间序列的数据片段：选取来自优质自然文本且字符数超出8K的实例，对那些字符数突破16K的例子赋予更高的权重，并确保符合预定的目标长度。
• 比较研究采用枢轴令牌搜索（PTS）技术来鉴定那些对模型产出具有最大影响力的关鍵令牌，并据此创建出高质量的对比学习资料，以提高信号与噪声的比例。
• 人们的意见反馈通过整合基于人类反馈的差异学习（DPO-Human Feedback），构建高质量的正反示例配对，使模型生成的内容更加贴近人的喜好。

Phi-4的项目位置

• 官方网站项目版块介绍-Phi-4
• HuggingFace的模型集合由于提供的内容为空，没有具体的信息可以进行伪原创改写。如果有具体的文本需要处理，请提供相关内容。https://mirror-site.net/microsoft/phi-4
• 关于技术的arXiv论文该链接指向一篇在arXiv平台上发布的学术论文的PDF文件，具体地址为2412.08905。

Phi-4的技术应用领域

• 教学支持作为一款教育支持工具，旨在协助学生解决STEM领域中的难题，并为他们的数学及编程任务提供指导。
• 科技探索在科学探索的过程中，解析并创造研究文章里的理念与信息，帮助科研工作者完成资料回顾及数据解读的任务。
• 程序设计与发展支持软件的开发工作，涵盖代码创建、故障排查及功能落实。
• 人工智能助理作为一名智能化的辅助工具，我能够解析并回答用户的问题，并且可以执行如信息搜索、安排日程等个性化助手任务。
• 公司抉择辅助通过对海量数据的剖析，我们为公司提供市场动态预测、风险评价及策略支撑服务。