【FFmpeg在Intel GPU上的硬件编解码实现】

用于记录Intel CPU开发qsv硬件解码过程中遇到的一些问题及解决方案

以下文章是在开发过程中参考的比较有意义的文章，供大家学习和参考~~

https://zhuanlan.zhihu.com/p/62246545
##FFMPEG+Intel QSV硬解的环境安装篇##
https://zhuanlan.zhihu.com/p/372361709
##Ubuntu20.04 ffmpeg添加 Intel核显QSV加速支持##
https://blog.csdn.net/weixin_47407737/article/details/128933104
##FFmpeg集成qsv的编译安装##
https://pic.huodongjia.com/ganhuodocs/2018-05-26/1527317476.4.pdf
##FFmpeg在Intel GPU上的硬件加速与优化##
https://blog.csdn.net/kkae8643150/article/details/107472572
##ubuntu18.0.4编译ffmpeg开启qsv硬件编解码##

描述	git仓库链接地址
Driver 依赖库	https://github.com/intel/libva
Driver 测试工具	https://github.com/intel/libva-utils
Driver 依赖库	https://github.com/intel/gmmlib
Driver	https://github.com/intel/media-driver/tree/intel-media-21.3
Driver	https://github.com/intel/intel-vaapi-driver
MediaSDK	https://github.com/Intel-Media-SDK/MediaSDK/wiki/Build-FFmpeg-QSV
MediaSDK	https://github.com/Intel-Media-SDK/MediaSDK/wiki/Build-Media-SDK-on-Ubuntu
MediaSDK	https://github.com/Intel-Media-SDK/MediaSDK/wiki/Intel-media-stack-on-Ubuntu
MediaSDK	https://github.com/Intel-Media-SDK/MediaSDK/releases
FFMPEG	https://github.com/FFmpeg/FFmpeg
RUN TIME	https://github.com/oneapi-src/oneVPL-intel-gpu

intel-media-driver+intel-media-sdk = iHD(i915 driver)
vaapi-driver = i965 driver

准备工作

安装依赖

2222 sudo apt-get install git cmake pkg-config meson libdrm-dev automake libtool

gcc/g++ cmake版本要求

编译过程中对gcc和cmake有版本的要求，需要先升级gcc和cmake到一定的版本之上，gcc/g++的版本要求大于等于4.9，cmake的版本要求大于等于3.6.

注意点

另外在开展编译工作开始之前，需要注意libva/media-driver以及Media-SDK各个版本的对应关系，否则会出现编译报错，为避免入坑，需要先查看以下链接中各版本对应关系，通过查看官方Intel-Media-SDK的release文档（链接：Intel Media SDK来知道分别是用libva和media-driver的哪个tag编译的。

测试环境：

一共测试了四台x86的机器

CPU型号	CPU架构
Intel J1900	Bay Trail Gen7
Intel i5-6442EQ	Skylake Gen9
Intel i7-7600U	Kaby Lake Gen9.5
Intel i7-8700	Coffee Lake Gen9.5

其中Intel i7-8700机器既有独显又有集显，为避免在调试过程中需要显式指定-qsv_device或-hwaccel_device，可在开机后进入BIOS，设定默认使用集显或使用独显或自动选择，系统默认设定的是AUTO。

#用来查看当前显示的配置
2256 lspci | grep -i vga
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Oland [Radeon HD 8570 / R7 240/340 OEM] (rev 87)
2257 cat /sys/kernel/debug/dri/128/name
2258 cat /sys/kernel/debug/dri/129/name

其中，/dev/dri/renderD128 对应集显，/dev/dri/renderD129对应独显。

ubuntu16.04升级gcc/g++

   69  add-apt-repository ppa:ubuntu-toolchain-r/test70  apt-get update88  apt-get install gcc-8 g++-891  gcc -v95  update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 2096  update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-8 2097  update-alternatives --config gcc98  update-alternatives --config g++

ubuntu16.04升级cmake

https://askubuntu.com/questions/829310/how-to-upgrade-cmake-in-ubuntu

 2203  chmod +x cmake-3.25.2-linux-x86_64.sh 2204  ./cmake-3.25.2-linux-x86_64.sh 2212  cd /home/ning/Downloads/cmake-3.25.2-linux-x86_64/bin/2213  ./cmake --version2214  ln -sf /home/ning/Downloads/cmake-3.25.2-linux-x86_64/bin/cmake /usr/local/bin/cmake2215  cd /usr/local/bin/2216  ./cmake --version

安装libva

 2224  git clone https://github.com/intel/libva.git2226  cd libva/2227  git checkout v2.13-branch2228  ./autogen.sh --prefix=/opt/intel/mediasdk/2229  make -j82231  make install

libva安装完成后需要配置环境变量export LIBVA_DRIVER_NAME=iHD

安装va-utils

 2247  git clone https://github.com/intel/libva-utils.git2248  git checkout v2.13-branch2249  cd libva-utils/2250  git checkout v2.13-branch2251  ./autogen.sh --prefix=/opt/intel/mediasdk2252  make -j82253  make install

安装gmmlib

 2234  tar xf gmmlib-intel-gmmlib-21.3.1.tar.gz 2235  cd gmmlib-intel-gmmlib-21.3.1或者git clone https://github.com/intel/gmmlib.gitcd gmmlibgit reset --hard 1c975c52634172376b49f2983d4d0fd7049302f92236  mkdir build2237  cd build/2238  cmake -DCMAKE_BUILD_TYPE=Release -DARCH=64 -DCMAKE_INSTALL_PREFIX=/opt/intel/mediasdk ..2239  make -j82240  make install

安装media-driver

 2242  git clone https://github.com/intel/media-driver.git2243  cd media-driver/2244  git checkout intel-media-21.32245  git br2246  cd ../2265  cd media-driver/2266  git br2267  cd ../2268  mkdir build_media2269  cd build_media/2270  cmake -DCMAKE_INSTALL_PREFIX=/opt/intel/mediasdk/ ../media-driver/2271  cd ../media-driver/2272  git br2273  git log2274  git reset --hard 46458db8104e70602e99bd233119d022bc54a39a2275  cd ../2276  cd build_media/2277  rm -rf ./*2278  cmake -DCMAKE_INSTALL_PREFIX=/opt/intel/mediasdk/ ../media-driver/2279  make -j82280  make install

driver安装完成后，需要配置环境变量export LIBVA_DRIVERS_PATH=/opt/intel/mediasdk/lib/dri/；
以上环境变量配置完成后，可使用va-utils编译生成的功能vainfo验证驱动安装是否成功，首先可以先读取环境变量的值，判断环境变量是否设置正确；

 2307  echo $LIBVA_DRIVERS_PATH2308  echo $LIBVA_DRIVER_NAME2309  #这里，media-driver对应的LIBVA_DRIVERS_NAME=iHD，$LIBVA_DRIVERS_PATH=iHD_drv_video.so

使用vainfo进行测试

#由于测试机器i7-8700同时存在集显和独显，所以这里需要指定--display drm --device，如果只有集显，执行运行vainfo即可
2278 ./vainfo
或者
2279 ./vainfo --display drm --device /dev/dri/renderD128
2279 root@ning-QiTianM620-N000:/opt/intel/mediasdk/bin# ./vainfo 2279 error: XDG_RUNTIME_DIR not set in the environment.
2279 libva info: VA-API version 1.13.0
2279 libva info: User environment variable requested driver 'i965'
2279 libva info: Trying to open /opt/intel/mediasdk/lib/dri/i965_drv_video.so
2279 libva info: Found init function __vaDriverInit_1_13
2279 libva info: va_openDriver() returns 0
2279 vainfo: VA-API version: 1.13 (libva 2.13.0)
2279 vainfo: Driver version: Intel i965 driver for Intel(R) Coffee Lake - 2.4.1
2279 vainfo: Supported profile and entrypoints
2279       VAProfileMPEG2Simple            :    VAEntrypointVLD
2279       VAProfileMPEG2Simple            :    VAEntrypointEncSlice
2279       VAProfileMPEG2Main              :    VAEntrypointVLD
2279       VAProfileMPEG2Main              :    VAEntrypointEncSlice
2279       VAProfileH264ConstrainedBaseline:    VAEntrypointVLD
2279       VAProfileH264ConstrainedBaseline:    VAEntrypointEncSlice
2279       VAProfileH264ConstrainedBaseline:    VAEntrypointEncSliceLP
2279       VAProfileH264Main               :    VAEntrypointVLD
2279       VAProfileH264Main               :    VAEntrypointEncSlice
2279       VAProfileH264Main               :    VAEntrypointEncSliceLP
2279       VAProfileH264High               :    VAEntrypointVLD
2279       VAProfileH264High               :    VAEntrypointEncSlice
2279       VAProfileH264High               :    VAEntrypointEncSliceLP
2279       VAProfileH264MultiviewHigh      :    VAEntrypointVLD
2279       VAProfileH264MultiviewHigh      :    VAEntrypointEncSlice
2279       VAProfileH264StereoHigh         :    VAEntrypointVLD
2279       VAProfileH264StereoHigh         :    VAEntrypointEncSlice
2279       VAProfileVC1Simple              :    VAEntrypointVLD
2279       VAProfileVC1Main                :    VAEntrypointVLD
2279       VAProfileVC1Advanced            :    VAEntrypointVLD
2279       VAProfileNone                   :    VAEntrypointVideoProc
2279       VAProfileJPEGBaseline           :    VAEntrypointVLD
2279       VAProfileJPEGBaseline           :    VAEntrypointEncPicture
2279       VAProfileVP8Version0_3          :    VAEntrypointVLD
2279       VAProfileVP8Version0_3          :    VAEntrypointEncSlice
2279       VAProfileHEVCMain               :    VAEntrypointVLD
2279       VAProfileHEVCMain               :    VAEntrypointEncSlice
2279       VAProfileHEVCMain10             :    VAEntrypointVLD
2279       VAProfileHEVCMain10             :    VAEntrypointEncSlice
2279       VAProfileVP9Profile0            :    VAEntrypointVLD
2279       VAProfileVP9Profile0            :    VAEntrypointEncSlice
2279       VAProfileVP9Profile2            :    VAEntrypointVLD
2279 root@ning-QiTianM620-N000:/opt/intel/mediasdk/bin#

安装Intel-Media-SDK

 2315  git clone https://github.com/Intel-Media-SDK/MediaSDK.git2316  cd MediaSDK/2317  git checkout intel-mediasdk-21.32318  mkdir build2319  cd build2320  cmake -DCMAKE_INSTALL_PREFIX=/opt/intel/mediasdk ..2321  make -j82322  make install

在这里需要注意的是，编译SDK如果出现找不到库或头文件的情况，需要export设置环境变量

export PKG_CONFIG_PATH=/opt/intel/mediasdk/lib/pkgconfig

在该目录下，存放了很多.pc文件，指定了库以及头文件的引用路径。

安装ffmpeg

通过apt-get安装的ffmpeg本身不支持QSV选项，因此必须自己去重新编译。
使用Intel-Media-SDK也就是Driver使用iHD_dri_video.so，配置ffmpeg时，需要加入–enable-libmfx选项；
使用vaapi也就是Driver使用i965_dri_video.so，配置ffmpeg时，需要加入–enable-vaapi选项；
另外，编译如果需要生成ffplay用来播放视频的话，配置ffmpeg也需要加入–enable-ffplay选项。

 2327  git clone https://github.com/ffmpeg/ffmpeg.git2330  cd ffmpeg/2331  git br2332  git checkout release/3.42333  ./configure --arch=x86_64 --prefix=/opt/intel/mediasdk/ --disable-yasm --enable-vaapi --enable-libmfx --enable-debug=3 --disable-stripping --extra-cflags=-gstabs+ --disable-optimizations2334  make -j82335  make install

安装vaapi-driver

关于在Intel J1900机器上不能使用iHD Driver的原因如图上描述：

所以，在J1900机器上，必须使用vaapi driver来实现硬件解码功能。

  560  git clone https://github.com/intel/intel-vaapi-driver.git561  cd intel-vaapi-driver/562  git checkout v2.4-branch563  git branch564  ls -ll565  ./autogen.sh --prefix=/opt/intel/mediasdk/566  make -j4567  make install568  #这里，media-driver对应的LIBVA_DRIVERS_NAME=i965，$LIBVA_DRIVERS_PATH=i965_drv_video.so

使用ffmpeg测试硬件解码

#1080P 同时存在集显和独显的情况下，使用-hwaccel_device指定集显设备
./ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -hwaccel_device /dev/dri/renderD128 -i RISC_e.mp4  -f null -
#4K视频
./ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -i 3840x2160.mp4 -vf 'hwdownload,format=nv12' -f null -
./ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -i 3840x2160.mp4 -f null -
#1080P
./ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -i RISC_e.mp4 -vf 'hwdownload,format=nv12' -f null -
./ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -i RISC_e.mp4 -vf -f null -

注意以上指令中的差异在于过滤器的使用 -vf ‘hwdownload,format=nv12’
使用’hwdownload’可以将硬件解码输出的gpu frame下载到cpu memory，关键字是下载
使用’format=NV12’可以选择NV12格式的数据作为hwdownload的输出
-f null - 是将硬件解码输出的gpu frame输出到cpu memory，不进行保存，4K视频不加 -vf ‘hwdownload,format=nv12’ 报错怀疑是cpu memory内存不够导致，使用hwdownload就不会报错

安装ffplay

ffplay编译主要依赖sdl2环境(针对ffmpeg 3.x版本)，未安装sdl2的情况下，不会自动生成关于ffplay的编译选项

sudo apt-get install libsdl2-2.0
# libSDL2-2.0.so.0位于/usr/lib/x86_64-linux-gnu/目录下

#ffmpeg configure时加上 --enable-ffplay选项即可
2333  ./configure --arch=x86_64 --prefix=/opt/intel/mediasdk/ --disable-yasm --enable-vaapi --enable-libmfx --enable-debug=3 --disable-stripping --extra-cflags=-gstabs+ --disable-optimizations --enable-ffplay

另外，ffplay依赖VPL运行环境，用户可设定以下环境变量用于指定VPL Runtime或MSDK Runtime(default)

export INTEL_MEDIA_RUNTIME=ONEVPL #for VPL Runtime:libmfx-gen.so.1.2
或者
export INTEL_MEDIA_RUNTIME=MSDK #for Media SDK Runtime:libmfxhw64.so.1

安装libmfx-gen.so.1.2，如果不安装 ffplay播放视频会报错

https://bugs.launchpad.net/ubuntu/+source/ffmpeg/+bug/1970637

 2085  git clone https://github.com/oneapi-src/oneVPL-intel-gpu.git2088  cd oneVPL-intel-gpu/2089  git br2090  git checkout intel-onevpl-21.22091  git br2092  mkdir build2093  cd build2094  cmake ..2095  make -j82096  make install2097  cd /opt/intel/mediasdk/lib/2098  ls （libmfx-gen*.so）2101  export INTEL_MEDIA_RUNTIME=ONEVPL（这步一定要加上）2099  cd ../bin/2102  ./ffplay -vcodec h264_qsv -i RISC_e.mp4 2103  ./ffplay -vcodec h264_qsv -i /home/ning/Downloads/3840x2160.mp4

VAAPI驱动(硬件解码+硬件编码+保存yuv文件)

这里需要说明一下，为什么要保存yuv文件？
原因在于使用vaapi驱动，ffplay播放视频无法通过-vcodec指定解码器，所以无法实现使用ffplay直接硬件解码播放视频，达到降低设备cpu占用率的需求。所以，保存yuv文件，也就是说先完成硬件解码输出，然后再使用ffplay进行播放，可达到降低设备cpu占用的需求。

#硬件解码+硬件编码
./ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -i RISC_e.mp4 -c:v h264_vaapi /home/ning/Downloads/RISC_vaapi.mp4
#硬件解码+输出yuv文件
#YUV420P的片源通常會硬體加速解碼會輸出NV12格式
./ffmpeg -hwaccel vaapi -hwaccel_output_format vaapi -i RISC_e.mp4 -vf 'hwdownload,format=nv12' -pix_fmt yuv420p /home/ning/Downloads/risc_e.yuv
#ffplay播放yuv文件
./ffplay -pix_fmt yuv420p -f rawvideo -video_size 1920x1080 /home/ning/Downloads/risc_e.yuv
#这里注意需要填相应的分辨率
#16M MP4文件大小，转换为yuv后为8.5G

iHD驱动(硬件解码+硬件编码+保存yuv文件)

#硬件解码+硬件编码
./ffmpeg -hwaccel qsv -c:v h264_qsv -i RISC_e.mp4 -c:v h264_qsv /home/ning/Downloads/RISC_qsv.mp4
#硬件解码+输出yuv文件
#YUV420P的片源通常會硬體加速解碼會輸出NV12格式
./ffmpeg -hwaccel qsv -c:v h264_qsv -i RISC_e.mp4 -vf 'hwdownload,format=nv12' -pix_fmt yuv420p /home/ning/Downloads/risc_e_qsv.yuv
#ffplay播放MP4，使用硬件解码
./ffplay -vcodec h264_qsv -i /home/ning/Downloads/RISC_vaapi.mp4

使用ffmpeg截取一段长度视频

-codec copy表示使用和输入视频相同的解码器，并且不重新进行编码

./ffmpeg -i 3840x2160.mp4 -vcodec copy -acodec copy -ss 00:00:00 -to 00:00:10 4k_test.mp4 -y

这里截取一段MP4视频的原因，是由于4K分辨率的视频，从MP4格式硬件解码为yuv格式后数据量太大，所以需要截取其中一小段用于测试。