香港大学与香港科技大学联手推出的智能图像语言辅助工具 — GraphAgent

GraphAgent指的是什么？

GraphAgent是由香港大学及香港科技大学（广州）共同研发的一款智能图形语言助手，能够处理现实世界中结构化（如图表连接关系）和非结构化的信息（例如文本或视觉数据），其中的数据包含复杂的相互联系与依赖性，并能以知识图谱的形式展现。该系统由三个主要部分组成：用于构建知识图谱的生成代理、解析用户查询并规划任务的任务规划代理，以及负责执行这些任务并通过自动化工具匹配来完成工作的任务执行代理。GraphAgent融合了语言模型和图形语言模型的能力，能够揭示数据之间的复杂关联及语义依赖性，在各种与图表相关的应用场景中表现出色。

GraphAgent的核心作用

• 图像创作实现知识图谱的自动化创建，以展现错综复杂的语义关联，并从文档内容中识别出实体及它们之间的联系。
• 工作安排计划解析用户的询问，并把用户的需要转变为明确的预估或是创造性的任务，随后制定实施计划。
• 工作落实实施预定的任务计划，涵盖自动化工具的选择与激活，并对用户的询问作出反应。
• 人机间的文字沟通允许用户通过日常语言与程序互动，使不具备专业技能的用户也能解析图形信息。
• 预报分析提供对图形基础预测工作的支持，涵盖节点归类与连接预估等功能。

GraphAgent的操作机制

• 非同质图形表述采用异构图形来展示结构化与非结构化的信息，并把握各实体间的联系。
• 图形神经网络模型利用图神经网络充当图的Tokenizer角色，把图形的结构性质转化为嵌入式的表达形式。
• 大规模语言模型通过整合预先训练好的大规模语言模型以解析和创造自然语言，并将其与图形结构数据相融合。
• 代表结构构建一个由多个智能体组成的系统，各个智能体分别承担诸如创造、策划及实施等特定的工作职责。
• 图像与命令的协同调整通过利用图形与指令的对应关系来培训大规模的语言模型，以提升其对图状数据的理解和操作能力。

GraphAgent项目的网址

• Git代码库：在GitHub上可以找到由HKUDS团队维护的GraphAgent项目，网址是 https://github.com/HKUDS/GraphAgent
• HuggingFace的模型集合访问此链接以查看GraphAgent的相关信息：https://huggingface.co/GraphAgent
• 关于arXiv的技术文章该链接指向一篇学术论文的PDF版本，具体为：https://arxiv.org/pdf/2412.17029，展现了研究者们在其专业领域的最新探索成果。

GraphAgent的使用情境

• 学术社交网研究通过创建学术文章之间的引用关联地图，助力科研人员识别关键的研究文档及领域的演变方向。
• 网上购物建议于在线购物平台内，通过解析用户的选购与查看习惯，给出定制化的产品建议。
• 财务管理中的风险控制应用于搭建金融交易系统中，用于检测可能存在的风险及欺诈活动，并支持决策过程。
• 社交媒体关系研究通过对社交平台上的联系与交流活动进行剖析，展现社群架构并识别具有影响力的个体。
• 推荐阅读系统依据用户的过往行为与喜好，推送他们可能感兴趣的新闻报道或视频资料。