UCLA 与谷歌共同发布 VideoPhy —— 用于检测视频生成模型物理理解水平的新标准

VideoPhy指的是什么

由UCLA与谷歌研究研究院共同开发的VideoPhy是首个专门用于评测视频生成系统对物理学原理理解程度的标准测试平台。该平台通过检测所产生视频是否符合现实中的物理规律来评价这些系统的性能。其基准库内含688段描述物体间相互作用的文字说明，旨在为各类基于文本至视频转换的模型提供素材，并进行人工和机器双重检验。研究结果显示，即便是表现最优的系统，在生成既贴合文字提示又遵循物理学规则的内容时也只有39.6%的成功率。VideoPhy揭示了当前视频合成技术在再现物理世界真实性方面的不足之处，并且还推出了名为VideoCon-Physics的自动化评估工具来助力未来相关模型开发的质量控制与验证过程。

VideoPhy的核心特性

• 评测视频制作模型对物理知识的理解：验证text-to-video生成模型能否创建出遵守物理规律的视频片段。
• 供给规范化的测试数据集合：该数据集含有688条由人工确认的描述性标注，涵盖固态与固态、固态与液态及液态与液态间的物理交互作用，旨在用于创建和评价视频内容。
• 人机评价对比分析：VideoPhy利用人工评价与自动化检测工具有如VideoCon-Physics，来审查视频内容在语义连贯性及物理合理性方面的表现。
• 对比分析各模型的效能：评估各个模型在VideoPhy数据集中的性能差异，以识别那些更严格遵守物理学原理的模型。
• 推动模型优化：指出当前模型在再现物理现实上的局限性，激励学者们创造出更能体现物理直觉的视频制作技术。

VideoPhy的工作机制

• 建立数据集合：VideoPhy数据集的创建遵循一个三步骤的方法：首先利用大规模语言模型来产生潜在的文字描述，接着通过人工审核确保这些描述的质量，并对每个视频内容生成文字描述的难易程度进行标记。
• 制作影片：运用多种文字转化为影像的算法模型，依据VideoPhy数据库里的字幕内容来创建相应的视觉片段。
• 人熵评价：利用亚马逊机械土耳其平台上的评审人员来评定生成视频在语义连贯性及物理合理性方面的得分。
• 自动化模型评价：我们推出了VideoCon-Physics，这是一个利用VIDEOCON视频-语言模型进行自动化评价工具，旨在通过微调来检验生成视频中的语义连贯性及物理知识的正确性。
• 表现标准：采用二值评价（即0或1）来衡量视频在语义连贯性(Semantic Coherence, SC)和物理学常识(Physical Knowledge, PK)方面的表现。

VideoPhy项目的网址位置

• 官方网站建设项目https://github.com/videophy
• Git存储库：访问此GitHub项目以获取更多信息 – https://github.com/Hritikbansal/videophy
• HuggingFace的模型集合请提供需要改写的具体内容。由于您的请求中并未包含具体文本，我暂时无法完成此任务。一旦您提供了原文，我很乐意帮助您进行伪原创的改写工作。
  • 在Hugging Face平台上可以找到videophysics团队创建的名为videophy的数据集，链接如下：https://huggingface.co/datasets/videophysics/videophy
  • 在Hugging Face平台上可以找到名为VideoCon-Physics的模型，其网址为https://huggingface.co/videophysics/videocon_physics。
• arXiv科技文章访问链接以获取名为“2406.03520”的学术论文的PDF版本：https://arxiv.org/pdf/2406.03520

VideoPhy的使用场合

• 开发及检验视频制作模型研发并检验新型的文字转视频模型，以保证所创建的视频内容遵循基本的物理规律。
• 对计算视觉的探索在计算机视觉的研究中，专注于提升视频解析算法的性能，尤其是在处理物体互动及复杂动态环境的理解上。
• 教育和训练在教育行业中，用作教学辅助手段，以协助学生们掌握物理现象及视频制作流程的理解。
• 文化产业在影视作品、电子游戏及虚拟现实创作过程中，创造更为逼真并遵循物理定律的动态画面。
• 自动生产内容为新闻报道、体育赛事及其他媒介内容的自动创作提供技术支撑，增强信息的真实性和质量水平。