返回

FAST Anime VSR: 加速动漫视频超分辨率处理,实时提升画质

AI

Star

Forks

Watch

Issues

FAST Anime VSR是提升动漫视频超分辨率处理速度的利器,充分发挥GPU的潜力。它基于Real-CuGAN和Real-ESRGAN构建,并通过TensorRT和自定义帧划分算法实现了SR处理过程的加速。

image.png

一、项目介绍

这个项目巧妙地结合了视频压缩的帧间预测和动量机制,并利用FFMPEG以较低的帧率解码视频,在几乎不损失画质的前提下提升处理速度。 此外,项目还采用了多进程和多线程技术,最大限度地利用所有可用的计算资源。 作者的目标是像论文(https://arxiv.org/abs/1603.08968)中那样直接利用视频编解码器中的解码信息,这也是项目名称中“FAST”的由来。目前,该项目支持Real-CUGAN(官方版本)和一个精简的Real-ESRGAN(6块动漫图像版本RRDB-Net)。

二、项目优势

  1. 处理速度快:通过TensorRT,自定义帧划分算法,以及FFMPEG低帧率解码,项目能够实时处理480P动漫视频(使用Real-CUGAN)。
  2. 资源利用率高:多进程和多线程技术的运用,充分利用了GPU的计算能力。
  3. 支持多种模型:项目目前支持Real-CUGAN, Real-ESRGAN 和 VCISR,提供更多选择。
  4. 持续维护和开发:作者表示会持续维护和开发这个项目,未来的发展值得期待。

三、使用方法

  1. 安装:项目支持Linux和Windows系统,安装步骤包括安装CUDA、CuDNN、TensorRT、torch2trt以及一些基本的Python库。 详细步骤请参考项目README文件。
  2. 配置:调整config.py文件中的设置,特别是“Frequently Edited Setting”部分,根据GPU的计算能力修改process_numfull_model_numnt参数。
  3. 运行:输入可以是单个视频或包含多个视频的文件夹,输出默认为mp4格式。在终端运行python main.py即可开始处理。 程序会自动下载cunet权重,并根据视频输入的高度和宽度生成tensorrt转换后的权重。

四、社区和贡献

该项目在GitHub上已经获得了一定的关注,拥有一定的Star数量和Fork数量,并且有几位贡献者参与其中。 鼓励开发者参与项目贡献,提交issue或Pull Request。

五、总结

FAST Anime VSR 为动漫视频超分辨率处理提供了一种高效的解决方案。 通过结合多种技术,项目实现了实时处理,并致力于进一步提升性能和功能。 项目的未来发展方向包括多GPU推理支持,提供PSNR和视觉质量报告等。