华南理工大学研发的古代文献大型语言模型 – 通古

通古大模型指的是一个涵盖广泛知识领域的大型预训练模型。

华南理工大学深度学习与视觉计算实验室（SCUT-DLVCLab）开发了通古大模型，这是一个专门处理古代文言文的人工智能语言工具。该模型在百川2-7B-Base的基础上进行了增量预训练，并利用超过24亿字的古籍文本进行无监督训练，同时结合约400万条与古籍相关的对话数据进行指令调优。它采用冗余度感知微调（RAT）技术来优化性能，特别针对处理古代文献的任务提供了更好的支持和理解能力。借助检索增强生成（CCU-RAG）技术的应用，通古大模型能够有效降低知识密集型任务中的信息不准确问题，并提升了输出内容的精准性和可靠性。

通古大型模型的核心能力

• 古代文章的断句标注通古大模型具备自动为古代文献标注标点的能力，有效解决了古典书籍中的断句难题，从而让用户能够更轻松地把握原文的意义。
• 古文与现代汉语的转换该模型具备在古代文学语言与通俗现代汉语间互译的功能，能够把艰深难懂的经典文献转化为当代人易于理解的文字，并且也支持把今天的书面语还原成古典风格的表述方式，极大地便利了读者对历史文献的学习和探索。
• 诗歌撰写通古大模型具备创作遵循古代诗歌韵律与特色的诗篇的能力，使用者能够依据个人需要提交特定的主题或者词汇，该模型则据此产出相匹配的古典文学佳作。
• 古典文献鉴赏该模型能够分析并欣赏古籍中经典的段落，阐明它们的文学意义、历史文化背景及深层的文化意涵，帮助使用者更深层次地理解古代文献。
• 古代文献搜索及问题解答通过运用检索增强技术，通古大模型能够迅速查找古代文献的内容，并依据用户的提问给出精准的回答，从而协助用户更有效地获得相关的历史资料信息。
• 协助古代文献编纂该模型能够检测出古代文献中出现的文字失误与缺失等状况，并给出修正提议，从而支持古文资料的编纂及数字转换任务。

通古大型模型的运作机制

• 基本的模型结构通古大模型是在百川2-7B-Base的基础上进行了额外的预训练。作为一款高性能的预训练语言模型，百川2-7B-Base赋予了通古大模型坚实的语言处理与创造技能。
• 非监督的渐进式预先训练该模型通过在涵盖24.1亿字的古代文献数据集上实施无监督的逐步预训练，以掌握古代文本的独特语言特色与架构，从而为日后处理相关古典文献的工作提供坚实的基础。
• 多层次命令精细调整通古大模型利用分阶段的指令精调技术，并创新性地引入冗余感知调整（RAT）策略。这一过程不仅增强了其在特定下游应用中的表现力，还保持了基础模型的核心功能不受影响。借助于这种精细调节手段，该模型能够更加精准高效地执行诸如古代文献翻译及句读分析等专业任务。
• 搜索强化创作(RAG)方法通古大模型采用了检索增强生成（RAG）技术来降低在需要丰富知识的任务中的错误率。其主要思路是整合信息搜索和文本创作的过程，利用外部数据库中找到的相关数据作为背景资料输入到语言模型中，从而输出更为精准且与上下文相契合的回答。

通古大型模型的项目位置

• GitHub代码库：访问该模型仓库，请前往 https://github.com/SCUT-DLVCLab/TongGu-LLM 页面。
• HuggingFace的模型集合访问该链接可找到由SCUT-DLVCLab开发的TongGu-7B-Instruct模型：https://huggingface.co/SCUT-DLVCLab/TongGu-7B-Instruct

通古大型模型的使用场合

• 古代文献的处理及数字转化通古大模型能够有效地管理古代文献资料，并提供诸如文言与现代汉语互译、句子断句及加标点符号以及文献搜索等服务。它协助进行古代书籍的整理工作，借助智能化的文字识别和修复功能来纠正文本中的错误，从而提高了古籍数字化工作的效率。
• 教育培训支援老师们能够利用该工具来创建教案、制作教学幻灯片，并规划课堂上的互动活动。对学生而言，此模型可以进行古代汉语的翻译、成语解析以及诗歌创作等任务，有助于学生更深入地掌握古典文学知识。
• 文化的传递与推广通古大模型降低了古代文献的阅读门槛，使更多的人能够接触到并理解和欣赏中华传统文化。
• 科学研究通古大模型在古籍研究领域中发挥了重要的技术支撑作用，它能够协助研究人员迅速地搜索并解析古代文献的内容。