# 生成式推荐大模型技术报告概览
## 摘要
本文介绍了中科大与华为合作发布的生成式推荐大模型，该模型基于昇腾NPU实现高效部署，并在认知智能领域取得显著进展。
## 模型结构与创新点
– **架构特点**：
– 结合Transformer和对比学习机制
– 引入了记忆网络模块
– **主要创新**：
– 提出垂直扩展注意力模块数量的扩展定律
– 探讨水平扩展 embedding 维度的影响
## 实验结果与分析
### 表现评估
| 模型参数 | Llama | HuaMeng |
|———-|——-|———|
| 参数规模 | 7B | 8B |
**实验结果表明**：
– **生成能力**：在小样本数据集上，Llama 的表现优于 HuaMeng。
– **扩展性能**：HuaMeng 在大规模数据上展现更好的扩展性。
### 实验分析
– **负采样率影响**：不同负采样率设置对排序任务的效果有显著影响。
– **评分网络架构**：不同的评分网络结构对模型表现产生重要影响。
– **Embedding 维度研究**：缩小 embedding 维度在小数据集上提升性能，但在大数据集上效果下降。
## 未来方向
– **数据工程优化**：探索更高效的数据处理方法
– **Tokenizer改进**：开发更适合推荐场景的分词策略
– **训练推理效率提升**：优化模型的计算效率
## 参考资料
– 论文链接：[https://arxiv.org/abs/2412.00714](https://arxiv.org/abs/2412.00714)
– 项目主页：[https://github.com/USTC-StarTeam/Awesome-Large-Recommendation-Models](https://github.com/USTC-StarTeam/Awesome-Large-Recommendation-Models)
—
**注**：本文内容基于原始技术报告改写，具体实验数据和详细分析请参考原文。
相关文章
