Engram与DeepSeek联合北大推出条件记忆模块

什么是Engram?

Engram是由深度求索团队与北京大学共同研发的条件记忆模块，旨在优化大型语言模型（LLM）的性能表现。该技术通过整合现代化的-gram嵌入表，将固定知识点存储于独立内存中，并运用稀疏检索和上下文感知门控机制实现高效的知识点调用。

Engram与混合专家模型(MoE)形成互补关系，在知识密集型任务、长文本处理以及推理能力等关键领域展现出显著优势。这种创新设计不仅降低了计算资源消耗，还突破了GPU显存限制，为大规模参数扩展提供了技术支持。

Engram的核心功能

• 知识检索：通过独立的静态嵌入表实现固定知识点的快速查找，有效降低计算资源占用。
• 稀疏性与效率：采用高效的稀疏检索机制和上下文感知门控技术，确保在复杂场景下的性能稳定。
• 可扩展性：突破传统模型的显存限制，支持更大规模参数量的扩展，为未来的模型优化提供了更多可能性。

Engram的这些特性使其成为大语言模型架构改进的重要工具，在提升模型能力的同时保持了计算效率的优势。这种创新性的解决方案为AI技术的发展开辟了新的思路。