快手发布的Transformers基础检索架构——KuaiFormer

KuaiFormer指的是什么

KuaiFormer是由快手的技术团队开发的一款基于Transformer架构的检索框架，专门用于大规模的内容推荐体系中。它通过重新构思检索流程，将传统的分数评估转变为由Transformer引导的“下一个动作预测”模式，实现了即时的兴趣捕捉和多兴趣点抽取，并大幅提升了搜索性能。该框架利用了多重兴趣查询Token与自适应序列压缩机制，在面对数亿级别的候选项目时仍能保持稳定的训练效果。KuaiFormer已于2024年5月被集成进快手App的短视频推荐系统中，服务于超过四亿的日活跃用户群体，并显著延长了用户的日均使用时间。

KuaiFormer的核心特性

• 多样化兴趣点抽取通过采用多种查询标记来捕获用户多元化的兴趣点，该模型能够更精准地理解并预判用户复杂的偏好。
• 自动调整的序列压缩技术为了提升处理长序列数据的效果，KuaiFormer引入了动态调整的序列压缩方案，通过优先压缩较早浏览过的视频内容来缩短输入的数据量，并确保最新视频信息得以保存。
• 维持训练的稳定性KuaiFormer采用了一种特制的softmax学习目标结合LogQ调整技术，确保了在处理大规模候选集合时能够维持其效能并实现稳定的模型训练。
• 即时建议即时回应用户的诉求，在海量选择中迅速甄别出符合用户当前兴趣的备选方案。

KuaiFormer的核心技术机制

• 基于Transformer的结构利用自注意力机制来识别和分析用户行为序列里的复杂关联性。
• 预测下一动作KuaiFormer通过预测用户下一步的行为来重构检索流程，这更有助于精准把握用户的即时兴趣点。
• 包含多种兴趣的查询标记借鉴了BERT模型中的[CLS]标记思路，我们采用了多种可以训练的查询标记，并运用多元兴趣培训方法，旨在从用户的过往项目记录中识别和捕捉其多样化的兴趣点。
• 自动调整的项目压缩方案KuaiFormer通过将初期的项目序列进行分组和压缩来缩短输入序列的长度，并且对最近期的项目实施细致入微的模型构建。
• 平滑批内softmax损失函数KuaiFormer采用In-Batch Softmax作为其学习目标，并利用LogQ调整技术来修正采样过程中的偏差。

KuaiFormer项目的仓库位置

• arXiv科技文章访问此链接可获取论文的PDF版本：https://arxiv.org/pdf/2411.10057，其中包含了最新的研究成果。

KuaiFormer的使用情境

• 短片推荐快手应用程序的短视频推送机制通过解析用户的过往浏览记录和个人偏好，向用户呈现他们可能会感兴趣的最新视频内容。
• 内容已被识别于内容探索领域内，旨在辅助用户发掘新鲜素材，丰富并创新展示的内容形态，从而优化用户的整体体验感受。
• 定制化建议通过把握用户多元的兴趣点，实现更为定制化的建议服务，以迎合用户的独特需求。
• 即时推荐体系根据用户的最新行为动态即时调整，并迅速刷新建议清单，特别适合那些要求即时反映推荐内容变动的应用情境。
• 海量数据管理当面对海量视频数据库的管理时，KuaiFormer 凭借其出色的高效性和强大的扩展能力，成为了大规模数据操作中的优选方案。