EnhanceText – 清华大学、中国科学院与智谱AI共同研发的长篇文本大型语言模型优化技术

LongReward指的是什么？

LongReward是由清华大学、中国科学院与智谱AI共同研发的一种方法，旨在通过基于人工智能反馈来提高大型语言模型（LLMs）在长文档上的表现质量。该系统根据响应的有效性、逻辑连贯性、准确性和全面性四个方面对模型输出进行评分，并据此提供强化学习所需的奖励信号，以此优化模型性能。这种改进使得这些模型能够更精确和一致地处理较长文本内容，同时更加高效地执行简洁指令，从而提升了其在长篇文档中的表现能力和简短命令的响应效率。

LongReward的核心特性

• 全方位评价依据有用程度、逻辑结构、准确反映及全面覆盖这四个方面来评估长篇文本模型的回答质量。
• 激励信号供给采用现有的大规模语言模型(LLM)作为评估仪器，向长篇内容生成模型的响应给予激励标志，并将此标志应用于增强学习(RL)过程中。
• 集成强化学习通过融合离线强化学习中的DPO（直接偏好优化）技术，根据优化的模型来生成满足特定偏好的结果，从而增强模型的表现能力。
• 性能增强大幅增强模型处理长篇文字任务的能力，改进对上下文线索的理解与应用，并降低不一致或虚构信息的产生。
• 提升对指令的执行能力优化模型以更好地执行简洁命令，提高其实用性与适应能力。

LongReward的核心技术机制

• 全方位评价由于提供的内容为空，没有具体内容可以进行伪原创改写。如果您有特定的文本或段落需要处理，请提供相关内容。
  • 实用性（Utility）评价模型的回应需考察其与用户的询问是否有关联性，确认它能否提供有价值的内容，并检查这些信息是否符合用户的需要。
  • 理性思维（Rational Thinking）审核模型回应中的逻辑统一性，涵盖立场一致性和合理推论的准确性。
  • 忠诚度（Loyalty）评估模型回应中提供的事实数据是否和背景内容相吻合，以保障信息的准确性。
  • 全面性（Comprehensiveness）评价模型的回答是否全面涵盖了与问题相关的所有关键要素，并确保提供了详尽的信息和具体细节。
• 运用已有的大规模语言模型（LLM）利用预设的高效大型语言模型作为评估手段，来给模型产生的内容打分。
• 少量示例学习与思路链条(Chain-of-Thought, CoT)针对实用性和逻辑性的评价，通过运用少量样例学习及链式思考方法，使大型语言模型能够根据提问与回答的内容直接给出评估。
• 对事实声明的解析与查找在评估忠实度分数时，需要把模型的回答拆解成具体的事实声明，并从相关背景信息中查找最匹配的部分来验证这些声明的真实性。
• 粗略的上下文拆分在对完整性分数进行评定时，需要把上下文拆解成较大的部分，并从中抽取和问题有关的关键信息来检查模型的回答是否涵盖了所有的关键细节。

LongReward项目的仓库位置

• Git存储库：访问该项目的网址为 https://github.com/THUDM/LongReward
• HuggingFace的模型集合库访问该数据集的链接如下所示：https://huggingface.co/datasets/THUDM/LongReward-10k，此链接指向一个特定的数据集合。
• arXiv科技文章访问此链接以获取论文的PDF版本: https://arxiv.org/pdf/2410.21252

LongReward的使用情境

• 对大型文本的解析及提问回答（QA）用于评价与优化模型在应对长篇幅文章、研究报告或书籍等文档时的问答表现。
• 文章概要辅助模型更有效地解析并提炼出长文或多个文件集的核心信息。
• 教学与学问探究于学术探索之中，LongReward被应用于测评及优化模型面对海量文献与信息处理效能的过程里，助力深化科研与知识获取的进程。
• 法律与财务解析LongReward被应用于法律与 finance行业，用于解析及诠释海量的法务文档、合约以及财务报表。
• 医学文档解析在医疗卫生行业，LongReward辅助系统助力解析与评估患者详尽的健康档案，从而增强诊疗方案的选择和病情判断。