阿里达摩院推出的FunClip —— 一款开源AI智能视频编辑软件

256 0 0

FunClip指的是什么

阿里达摩院通义实验室开发了FunClip这款开源且适用于本地部署的自动化视频编辑软件。该工具借助阿里巴巴通义实验室研发的FunASR Paraformer系列模型来实现自动化的语音识别功能，从而帮助用户根据识别出的文字内容或特定讲话者快速剪辑所需的视频片段。FunClip的一大亮点在于整合了一款针对中文设计的高度精准的ASR（自动语音识别）模型，并提供热词定制、说话人辨识等特性，同时配备了一个由Gradio提供的便捷交互界面。此外，该软件还支持对多个视频段落进行编辑，并能够生成SRT格式的字幕文件。

FunClip的核心特性

自动化的语音转文字技术通过运用来自阿里巴巴通义实验室的FunASR Paraformer系列模型的技术，实现视频中语音内容的文字化转录工作。
热门词汇个性化设置利用内置的SeACo-Paraformer架构，使用者能够设定某些关键字或个人名称为热词，从而增强对这些特定术语的辨识精度。
语音辨识个体差异引入了CAM++语音辨识系统后，用户能够依据系统自动检测到的发言者编号，精准地截取出指定发言者的录像片段。
视频剪辑用户能够选取识别出的任意文字部分或是特定发言人的讲话，在点击裁剪按键后获得相关的视频段落。
Gradio互动界面利用Gradio构建的互动界面，让视频编辑过程变得更加简便，用户能够于服务器上部署相应服务，并借助网页浏览器完成编辑任务。
支持多个片段的编辑功能FunClip允许用户裁剪多个视频片段，并具备高度灵活的编辑功能。
自动创建字幕经过剪辑的视频能够自动创建整个视频及特定片段的SRT字幕文件，便于用户进行字幕的增加或修改。
通过命令行执行除图形用户界面外，FunClip亦允许用户利用命令行来执行视频识别与裁剪任务，从而赋予了软件更加多样的操作模式。

访问FunClip官方站点入口

官方的GitHub代码仓库链接访问该链接以查看阿里巴巴达摩院的FunClip项目：https://github.com/alibaba-damo-academy/FunClip
ModelScope魔搭平台的线上演示版本访问该链接以查看关于语音识别在视频片段应用中的概要信息：https://modelscope.cn/studios/iic/funasr_app_clipvideo/overview

怎样操作FunClip

方案一：在本地安装Gradio版

首先要确保你的计算机已经装有Python和Git，接着打开命令行工具，并逐个执行下列指令。

使用如下命令克隆FunClip仓库：git clone https://github.com/alibaba-damo-academy/FunClip.git

进入FunClip目录，并安装该目录下requirements.txt文件中列出的所有依赖包。

运行位于funclip文件夹下的launch.py脚本，使用的命令是python。

最终通过浏览器浏览127.0.0.1:7860您将能够享受到FunClip的乐趣。

方案二：在魔搭社区中尝试在线演示应用查看。

浏览魔搭社区发布的在线演示，并依照下面的指引进行操作：

上传您的视频或音频资料（或者尝试下面提供的示例），然后点击「开始识别」按键。
将需要的文字从识别的结果中提取并置于右上角，或在右侧设定发言者标志，并可根据需求调整对齐方式和字幕的格式。
选择「裁剪」按键或是「裁剪并插入字幕」按键以得到结果。

步骤三：通过命令行执行相应的指令

在终端中逐条输入并执行下面的指令

# 步骤一：从GitHub复制项目代码
git clone https://github.com/alibaba-damo-academy/FunClip.git

# 步骤二：设置Python环境依赖项
cd FunClip && pip install -r ./requirments.txt

# 步骤三：上传视频进行分析处理
python funclip/videoclipper.py --stage 1 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output

# 分析结果及.srt格式的字幕文件会被放置在./output目录中。

# 步骤四：执行视频裁剪操作
python funclip/videoclipper.py --stage 2 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output \
--dest_text '我们把它跟乡村振兴去结合起来，利用我们的设计的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'

# AI工具