北京大学发布VE-Bench —— 首个用于衡量视频编辑效果的开放性新标准

VE-Bench代表的是什么？

最近，北京大学的研究小组MMCAL推出了专门用于衡量视频编辑效果的质量标准——VE-Bench。此工具的设计理念在于其能够精确匹配人类的感知体验，并且更精准地评判经过处理后的视频质量。在使用VE-Bench QA对编辑过的视频进行评估时，除了关注传统的审美和失真等视觉品质因素之外，它还特别重视文本与视频内容的一致性以及原始素材与最终成品之间的关联度建模。

VE-Bench 由两个核心组件构成：VE-Bench DB 和 VE-Bench QA。其中，VE-Bench DB 是一个专注于视频质量评价的数据集，它汇集了大量的原始视频、编辑指令、各种视频编辑模型的处理结果以及来自24位背景各异参与者的主观评分样本，总计收集了28,080份评估数据。而 VE-Bench QA 则是一款与人类感知相匹配的量化测量工具，特别设计用于文本引导下的视频编辑任务中。该框架的所有代码和相关资源均可在 GitHub 上获取。

VE-Bench的核心作用

• 视频品质评价系统（VE-Bench QA）VE-Bench整合了一个用于评价修改后视频的质量模型，该模型的目标是提供一个符合人类感知标准的测量方式。除了涵盖传统评估中重要的审美和失真等视觉质量要素外，它还特别关注文本内容与视频画面的一致性，并且注重源视频与经过编辑后的版本之间的关联分析建模。
• 视频品质评测数据集（VE-Bench 数据库）VE-Bench DB是一款专用于视频编辑领域的视频质量评测数据库，它汇集了大量的原始视频素材、编辑指南、各类视频编辑软件的处理成果及来自24位具有多样化背景评估者所给出的主观评价数据，总计收集了28,080条评分记录。
• 文本与视频内容匹配度评价VE-Bench QA利用BLIP框架构建视频与文本的相关性模型，在保留其图像处理模块的同时，引入了时间适配器来适应三维数据，并结合文本部分的分析结果，最终经由交叉注意力机制产生输出。
• 原始影片与编辑版本间动态关联性的评价VE-Bench QA运用时空变换器把原始视频与经过编辑的视频映射至一个高维度的空间中。随后，它结合注意力机制来评估这两个视频之间的关联程度，并最终借助回归分析得出相应的结果输出。
• 常规的图像质量评价方法VE-Bench QA借鉴了先前在自然环境视频质量评估中的杰出研究成果DOVER，利用经过美学与失真方面的预先训练的主干网络来生成相应的评测结果。
• 全方位评价VE-Bench QA通过对文本与视频的一致性、原始视频与修改后视频之间的动态关联性及传统的视觉品质这三个方面，来评价由文本引导的视频编辑效果。

VE-Bench的核心技术机制

• 直线回归分析各分支的结果最后经过一个线性转换层来获取最终的评分。
• 先进的机器学习技术VE-Bench利用了前沿的深度学习技术，基于对众多实际视频案例的研究训练，构建了一个可以模仿人眼与耳朵感知机制的系统模型。
• 多元融合学习架构VE-Bench具备同步解析视频内图像、声音及文字资料的能力，并经由广泛的真实场景视频实例进行培训，使其掌握了对视频技术指标的剖析技巧，并能识别出不易度量的艺术魅力与情绪传达。

VE-Bench项目的所在位置

• GitHub代码库：在GitHub上可以找到由littlespray维护的项目——VE-Bench，地址如下：https://github.com/littlespray/VE-Bench
• 关于arXiv的技术文章在学术预印平台ArXiv上发布了一篇论文，其在线地址为：http://arxiv.org/abs/2408.11481，该链接直接导向PDF版本的详细内容。

VE-Bench的使用情境

• 影片创作在电影的后制阶段，VE-Bench能辅助导演与剪辑人员评估每一帧画面的色彩、光线及过渡效果是否达到理想状态，从而保障电影的情绪基调被精准呈现。
• 短视频应用的内容改进短视频制作者能够借助VE-Bench即时评估其作品的画面质量、声音清晰度及故事叙述框架，并依据系统提供的指导意见实施改进措施，从而增强观众体验并提高用户参与度。
• 市场营销中精确的目标推广策略VE-Bench具备解析视频素材的能力，能够辅助广告业实现精细的市场推广策略，使得广告影片更符合目标观众的情绪反应及视觉期待。
• 对视频剪辑的品质进行评定VE-Bench注重评估修改前后的视频内容与其原始版本间的关联度。以“移除女孩的耳环”为例，该过程必须保持个体身份不变，并且要求原版视频和最终编辑成果之间具有显著的语义联系。