FFmpeg 使用 Nvidia GPU 进行转码加速

参考：

https://blog.csdn.net/JineD/article/details/128420330?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22128420330%22%2C%22source%22%3A%22JineD%22%7Dhttps://blog.csdn.net/JineD/article/details/128420330?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22128420330%22%2C%22source%22%3A%22JineD%22%7D

在FFmpeg官网Download FFmpeg可以下载到ubuntu/debian的发行包，其他Linux发行版需自行编译。同时，如果要使用GPU进行硬件加速的话，也是必须自己编译FFmpeg的，所以本节将介绍从源码编译安装FFmpeg的方法（基于 ubuntu）

安装依赖工具

apt install libtool autoconf automake bzip2 cmake freetype-devel gcc gcc-c++ git make mercurial pkgconfig zlib-devel

准备工作

在$HOME下创建ffmpeg_sources目录

编译并安装依赖库

本节中的依赖库基本都是必须的，建议全部安装

nasm

汇编编译器，编译某些依赖库的时候需要

cd ~/ffmpeg_sources
curl -O -L http://www.nasm.us/pub/nasm/releasebuilds/2.13.02/nasm-2.13.02.tar.bz2
tar xjvf nasm-2.13.02.tar.bz2
cd nasm-2.13.02
./autogen.sh
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
make
make install

yasm

汇编编译器，编译某些依赖库的时候需要

cd ~/ffmpeg_sources
curl -O -L http://www.tortall.net/projects/yasm/releases/yasm-1.3.0.tar.gz
tar xzvf yasm-1.3.0.tar.gz
cd yasm-1.3.0
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
make
make install

libx264

H.264视频编码器，如果需要输出H.264编码的视频就需要此库，所以可以说是必备

cd ~/ffmpeg_sources
git clone --depth 1 http://git.videolan.org/git/x264.t
cd x264
PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --enable-static
make
make install

libx265

H.265/HEVC视频编码器。
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libx265

cd ~/ffmpeg_sources
hg clone https://bitbucket.org/multicoreware/x265.git
cd ~/ffmpeg_sources/x265/build/linux
cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX="$HOME/ffmpeg_build" -DENABLE_SHARED:bool=off ../../source
make
make install

libfdk_acc

AAC音频编码器，必备

cd ~/ffmpeg_sources
git clone --depth 1 --branch v0.1.6 https://github.com/mstorsjo/fdk-aac.git
cd fdk-aac
autoreconf -fiv
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libmp3lame

MP3音频编码器，必备

cd ~/ffmpeg_sources
curl -O -L http://downloads.sourceforge.net/project/lame/lame/3.100/lame-3.100.tar.gz
tar xzvf lame-3.100.tar.gz
cd lame-3.100
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --disable-shared --enable-nasm
make
make install

libops

OPUS音频编码器
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libopus

cd ~/ffmpeg_sources
curl -O -L https://archive.mozilla.org/pub/opus/opus-1.2.1.tar.gz
tar xzvf opus-1.2.1.tar.gz
cd opus-1.2.1
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libogg

被libvorbis依赖

cd ~/ffmpeg_sources
curl -O -L http://downloads.xiph.org/releases/ogg/libogg-1.3.3.tar.gz
tar xzvf libogg-1.3.3.tar.gz
cd libogg-1.3.3
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libvorbis

Vorbis音频编码器
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libvorbis

cd ~/ffmpeg_sources
curl -O -L http://downloads.xiph.org/releases/vorbis/libvorbis-1.3.5.tar.gz
tar xzvf libvorbis-1.3.5.tar.gz
cd libvorbis-1.3.5
./configure --prefix="$HOME/ffmpeg_build" --with-ogg="$HOME/ffmpeg_build" --disable-shared
make
make install

libvpx

VP8/VP9视频编/解码器
如果不需要此编/解码器，可以跳过，并在ffmpeg的configure命令中移除--enable-libvpx

cd ~/ffmpeg_sources
git clone --depth 1 https://github.com/webmproject/libvpx.git
cd libvpx
./configure --prefix="$HOME/ffmpeg_build" --disable-examples --disable-unit-tests --enable-vp9-highbitdepth --as=yasm
make
make install

安装 CUDA 和 Cudnn ，参考其它文章，本文不讲解

编译安装ffmpeg

要让ffmpeg能够使用CUDA提供的GPU编解码器，必须编译ffmpeg，让其能够通过动态链接调用CUDA的能力

首先要编译安装nv-codec-headers库

git clone https://git.videolan.org/git/ffmpeg/nv-codec-headers.git
make && make install

进入~/ffmepg_sources/目录执行ffmpeg的编译和安装
注意 configure 命令参数

cd ~/ffmpeg_sources
curl -O -L https://ffmpeg.org/releases/ffmpeg-5.0.2.tar.bz2
tar -xjvf ffmpeg-5.0.2.tar.bz2
cd ffmpeg-5.0.2
export PATH="$HOME/bin:$PATH"
export PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig"./configure \--prefix="$HOME/ffmpeg_build" \--pkg-config-flags="--static" \--extra-cflags="-I$HOME/ffmpeg_build/include -I/usr/local/cuda/include" \--extra-ldflags="-L$HOME/ffmpeg_build/lib -L/usr/local/cuda/lib64" \--extra-libs=-lpthread \--extra-libs=-lm \--extra-libs=-ldl \--bindir="$HOME/bin" \--enable-gpl \--enable-libfdk_aac \--enable-libfreetype \--enable-libmp3lame \--enable-libopus \--enable-libvorbis \--enable-libvpx \--enable-libx264 \--enable-libx265 \--enable-nonfree \--enable-cuda \--enable-cuvid \--enable-nvenc \--enable-libnpp
make
make install

验证安装

重新安装完ffmpeg，使用ffmpeg -hwaccels命令查看支持的硬件加速选项

Hardware acceleration methods:
cuvid

可以看到多出来一种叫做cuvid的硬件加速选项，这就是CUDA提供的GPU视频编解码加速选项

然后查看cuvid提供的GPU编解码器ffmpeg -codecs | grep cuvid

 DEV.LS h264                 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_cuvid ) (encoders: libx264 libx264rgb h264_nvenc nvenc nvenc_h264 )DEV.L. hevc                 H.265 / HEVC (High Efficiency Video Coding) (decoders: hevc hevc_cuvid ) (encoders: libx265 nvenc_hevc hevc_nvenc )DEVIL. mjpeg                Motion JPEG (decoders: mjpeg mjpeg_cuvid )DEV.L. mpeg1video           MPEG-1 video (decoders: mpeg1video mpeg1_cuvid )DEV.L. mpeg2video           MPEG-2 video (decoders: mpeg2video mpegvideo mpeg2_cuvid )DEV.L. mpeg4                MPEG-4 part 2 (decoders: mpeg4 mpeg4_cuvid )D.V.L. vc1                  SMPTE VC-1 (decoders: vc1 vc1_cuvid )DEV.L. vp8                  On2 VP8 (decoders: vp8 libvpx vp8_cuvid ) (encoders: libvpx )DEV.L. vp9                  Google VP9 (decoders: vp9 libvpx-vp9 vp9_cuvid ) (encoders: libvpx-vp9 )

所有带有"cuvid"或"nvenc"的，都是CUDA提供的GPU编解码器
可以看到，我们现在可以进行h264/hevc/mjpeg/mpeg1/mpeg2/mpeg4/vc1/vp8/vp9格式的GPU解码，以及h264/hevc格式的GPU编码

使用GPU进行视频转码

用GPU进行转码的命令和软转码命令不太一样，CPU转码的时候，我们可以依赖ffmpeg识别输入视频的编码格式并选择对应的解码器，但ffmpeg只会自动选择CPU解码器，要让ffmpeg使用GPU解码器，必须先用ffprobe识别出输入视频的编码格式，然后在命令行中指定对应的GPU解码器。

例如，将h264编码的源视频转码为指定尺寸和码率的h264编码视频：

ffmpeg -hwaccel cuvid -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>

-hwaccel cuvid：指定使用cuvid硬件加速
-c:v h264_cuvid：使用h264_cuvid进行视频解码
-c:v h264_nvenc：使用h264_nvenc进行视频编码
-vf scale_npp=1280:-1：指定输出视频的宽高，注意，这里和软解码时使用的-vf scale=x:x不一样

转码期间使用nvidia-smi查看显卡状态，能够看到ffmpeg确实是在使用GPU进行转码：

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0     62543      C   ffmpeg                                       193MiB |
+-----------------------------------------------------------------------------+

GPU转码效率测试

在配有两颗Intel-E5-2630v3 CPU和两块Nvidia Tesla M4显卡的服务器上，进行h264视频转码测试，成绩如下：

GPU转码平均耗时：8s
CPU转码平均耗时：25s

并行转码时，CPU软转的效率有所提高，3个转码任务并行时32颗核心全被占满，此时的成绩

GPU转码平均耗时：8s
CPU转码平均耗时：18s

不难看出，并行时GPU的转码速度并没有提高，可见一颗GPU同时只能执行一个转码任务。那么，如果服务器上插有多块显卡，ffmpeg是否会使用多颗GPU进行并行转码呢？

很遗憾，答案是否。

ffmpeg并不具备自动向不同GPU分配转码任务的能力，但经过一番调查后，发现可以通过-hwaccel_device参数指定转码任务使用的GPU！

向不同GPU提交转码任务

ffmpeg -hwaccel cuvid -hwaccel_device 0 -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>
ffmpeg -hwaccel cuvid -hwaccel_device 1 -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>

-hwaccel_device N：指定某颗GPU执行转码任务，N为数字

此时nvidia-smi显示：

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0     96931      C   ffmpeg                                       193MiB |
|    1     96930      C   ffmpeg                                       193MiB |
+-----------------------------------------------------------------------------+

可以进行并行GPU转码了！

那么在占满服务器资源时，GPU转码和CPU转码的效率如下：

GPU转码平均耗时：4s
CPU转码平均耗时：18s

GPU效率是CPU的4.5倍