文章目录

  • 安卓直播推流专栏博客总结
  • 一、 NV21 图像格式与 Camera图像传感器方向问题
  • 二、 NV21 图像格式视频旋转
    • 1. 图像旋转问题及解决方案 ( 顺时针旋转 90 度 )
    • 2. NV21 图像格式数旋转方案
    • 3. 旋转图像的 饱和度 色彩值 UV
    • 4. 旋转后的 NV21 格式
  • 三、 Android 手机端屏幕旋转方向
    • 1. 获取手机屏幕方向
    • 2. Surface.ROTATION_0 正常竖屏方向
    • 3. Surface.ROTATION_90 正常竖屏方向
    • 4. Surface.ROTATION_180 正常竖屏方向
    • 5. Surface.ROTATION_270 正常竖屏方向
  • 四、 Android 手机端屏幕方向获取代码示例

安卓直播推流专栏博客总结

Android RTMP 直播推流技术专栏 :

0 . 资源和源码地址 :

  • 资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;
  • GitHub 源码地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

  • 【Android RTMP】RTMP 直播推流服务器搭建 ( Ubuntu 18.04.4 虚拟机 )

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

  • 【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )

  • 【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )

3. 讲解 RTMP 数据包封装格式 :

  • 【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 )

  • 【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | AVC 序列头格式解析 )

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

  • 【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )

  • 【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )

  • 【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

  • 【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )

  • 【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )

  • 【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

  • 【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )

  • 【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )

  • 【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

  • 【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )

  • 【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

  • 【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )

  • 【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

  • 【Android RTMP】NV21 图像旋转处理 ( 快速搭建 RTMP 服务器 Shell 脚本 | 创建 RTMP 服务器镜像 | 浏览器观看直播 | 前置 / 后置摄像头图像旋转效果展示 )

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

  • 【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )

  • 【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )

11. 解析 AAC 音频格式 :

  • 【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :

  • 【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )

  • 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

  • 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;

Android 端中主要完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;

之前的博客中基本实现了 Camera 采集 NV21 格式图像并使用 x264 编码图像为 H.264 视频 , 使用 RTMPDump 将 H.264 视频帧信息打包为 RTMP 数据包 , 推流到服务器端 ;

当前的问题是 , 推流到服务器端的 NV21 格式的图像被逆时针旋转了 90 度 ;

一、 NV21 图像格式与 Camera图像传感器方向问题

1. Camera 采集画面并预览推流 : 这里注意 , 之前图像被逆时针旋转了 90 度 , 设置了图像传感器角度后 , 预览图片纠正过来了 , 但是 Camera 的图像传感器采集的 NV21 格式的图像还是被旋转了 90 度 ;

2 . 电脑端观看直播效果展示 : 屏幕画面被逆时针旋转了 90 度 , 这是因为之前摄像头传感器只设置了将预览画面纠正过来 , 但是 NV21 格式的图像数据还是被逆时针旋转了 90 度的数据 ;

具体涉及到的图像格式 , 以及图像传感器方向 , 屏幕方向的关系 , 参考博客 【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

二、 NV21 图像格式视频旋转

1. 图像旋转问题及解决方案 ( 顺时针旋转 90 度 )

图像旋转问题及解决方案 :

① 问题描述 : 分析上面的画面 , 可以看到视频被逆时针旋转了 90 度 , 即画面图像被逆时针旋转了 90 度 ;

② 解决方案 : 将 Camera 采集的 NV21 格式的图像顺时针旋转 90 度 , 即可解决上述问题 ;

2. NV21 图像格式数旋转方案

NV21 图像格式数据排列 : 以 4×44 \times 44×4 像素的图片为例 , 其有 161616 个 Y 数据 , UV 数据只有 444 组 , 共 888 个 ;

1 . 数据的排列格式如下矩阵 : 161616 个 Y 数据在前 , 然后 444 组 ( 888 个 ) VU 数据交替存放 ;

[y1y2y3y4y5y6y7y8y9y10y11y12y13y14y15y16v1u1v2u2v3u3v4u4]\begin{bmatrix} y1 & y2 & y3 & y4 \\\\ y5 & y6 & y7 & y8 \\\\ y9 & y10& y11& y12 \\\\ y13& y14& y15& y16 \\\\ v1 & u1 & v2 & u2 \\\\ v3 & u3 & v4 & u4\\ \end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y1y5y9y13v1v3​y2y6y10y14u1u3​y3y7y11y15v2v4​y4y8y12y16u2u4​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

2 . 旋转像素灰度值 Y : 像素值顺时针 90 度旋转后的样式 ;

① 旋转矩阵 :

② 旋转后的最终 Y 灰度值 矩阵 :

[y13y9y5y1y14y10y6y2y15y11y7y3y16y12y8y4]\begin{bmatrix} y13 & y9 & y5 & y1 \\\\ y14 & y10 & y6 & y2 \\\\ y15 & y11& y7& y3 \\\\ y16& y12& y8& y4 \\ \end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​y13y14y15y16​y9y10y11y12​y5y6y7y8​y1y2y3y4​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤​

3. 旋转图像的 饱和度 色彩值 UV

旋转图像的 饱和度 色彩值 UV : UV 数据旋转后 , 只是给出了 UV 数据的位置 , 还需要将 UV 数据按照顺序排列 :

① 旋转 UV 数据矩阵 : 该旋转后只能代表 UV 数据组的位置 , 即 第一组 UV 数据 ( v3u3v3 \quad u3v3u3 ) 在左上角 , 第二组 UV 数据 ( v1u1v1 \quad u1v1u1 ) 在右上角 , 第三组 UV 数据 ( v4u4v4 \quad u4v4u4 ) 在左下角 , 第四组 UV 数据 ( v2u2v2 \quad u2v2u2 ) 在右下角 ;

② 旋转后的最终 UV 色彩值 饱和度 矩阵 :

[v3u3v1u1v4u4v2u2]\begin{bmatrix} v3 & u3 & v1 & u1 \\\\ v4 & u4 & v2 & u2\\ \end{bmatrix}⎣⎡​v3v4​u3u4​v1v2​u1u2​⎦⎤​

4. 旋转后的 NV21 格式

NV21 格式的图像的 YUV 值顺时针旋转 90 度后的 YUV 矩阵为 :

[y13y9y5y1y14y10y6y2y15y11y7y3y16y12y8y4v3u3v1u1v4u4v2u2]\begin{bmatrix} y13 & y9 & y5 & y1 \\\\ y14 & y10 & y6 & y2 \\\\ y15 & y11& y7& y3 \\\\ y16& y12& y8& y4 \\\\ v3 & u3 & v1 & u1 \\\\ v4 & u4 & v2 & u2\\ \end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y13y14y15y16v3v4​y9y10y11y12u3u4​y5y6y7y8v1v2​y1y2y3y4u1u2​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

三、 Android 手机端屏幕旋转方向

1. 获取手机屏幕方向

获取手机屏幕方向 : 调用下面的方法 , 可以获取到 444 个手机屏幕方向 ;

mRotation = mActivity.getWindowManager().getDefaultDisplay().getRotation();

调用上述方法 , 获取的手机屏幕方向是 Surface.ROTATION_0 , Surface.ROTATION_90 , Surface.ROTATION_180 , Surface.ROTATION_270 , 四个常量中的一个

2. Surface.ROTATION_0 正常竖屏方向

Surface.ROTATION_0 正常竖屏方向 :

① 常量含义 : ROTATION_0 常量代表手机自然方向逆时针旋转 0 度, 竖屏 ;

② 方向说明 :

  • 头部 ( 摄像头的一边 ) 在上边
  • 尾部 ( Home / 返回 键的一边 ) 在下边

一般的竖屏操作方式, 也是最常用的方式 ;

3. Surface.ROTATION_90 正常竖屏方向

Surface.ROTATION_90 正常竖屏方向 :

① 常量含义 : ROTATION_90 常量代表手机自然方向逆时针旋转 90 度, 横屏 ;

② 方向说明 :

  • 头部 ( 摄像头的一边 ) 在左边
  • 尾部 ( Home / 返回 键的一边 ) 在右边

一般横屏操作方式 ;

4. Surface.ROTATION_180 正常竖屏方向

Surface.ROTATION_180 正常竖屏方向 :

① 常量含义 : ROTATION_180 常量代表手机自然方向逆时针旋转 180 度, 竖屏 ;

② 方向说明 :

  • 头部 ( 摄像头的一边 ) 在下边
  • 尾部 ( Home / 返回 键的一边 ) 在上边

一般很少这样操作 ;

5. Surface.ROTATION_270 正常竖屏方向

Surface.ROTATION_270 正常竖屏方向 :

① 常量含义 : ROTATION_270 常量代表手机自然方向逆时针旋转 270 度, 横屏 ;

② 方向说明 :

  • 头部 ( 摄像头的一边 ) 在右边
  • 尾部 ( Home / 返回 键的一边 ) 在左边

一般横屏操作方式 ;

四、 Android 手机端屏幕方向获取代码示例

Android 手机端屏幕方向获取代码示例 :

    /*** 设置 Camera 预览方向* 如果不设置, 视频是颠倒的* 该方法内容拷贝自 {@link Camera#setDisplayOrientation} 注释, 这是 Google Docs 提供的* @param parameters*/private void setCameraPreviewOrientation(Camera.Parameters parameters) {Camera.CameraInfo info = new Camera.CameraInfo();Camera.getCameraInfo(mCameraFacing, info);/*获取屏幕相对于自然方向的角度自然方向就是正常的竖屏方向, 摄像头在上, Home 键在下, 对应 Surface.ROTATION_0ROTATION_0 是自然方向逆时针旋转 0 度, 竖屏头部 ( 摄像头的一边 ) 在上边尾部 ( Home / 返回 键的一边 ) 在下边一般竖屏操作方式, 也是最常用的方式ROTATION_90 是自然方向逆时针旋转 90 度, 横屏头部 ( 摄像头的一边 ) 在左边尾部 ( Home / 返回 键的一边 ) 在右边一般横屏操作方式ROTATION_180 是自然方向逆时针旋转 180 度, 竖屏头部 ( 摄像头的一边 ) 在下边尾部 ( Home / 返回 键的一边 ) 在上边一般很少这样操作ROTATION_270 是自然方向逆时针旋转 270 度, 横屏头部 ( 摄像头的一边 ) 在右边尾部 ( Home / 返回 键的一边 ) 在左边一般很少这样操作博客中配合截图说明这些方向*/mRotation = mActivity.getWindowManager().getDefaultDisplay().getRotation();int degrees = 0;switch (mRotation) {case Surface.ROTATION_0:degrees = 0;/*Camera 图像传感器采集的数据是按照竖屏采集的原来设置的图像的宽高是 800 x 400如果屏幕竖过来, 其宽高就变成 400 x 800, 宽高需要交换一下这里需要通知 Native 层的 x264 编码器, 修改编码参数 , 按照 400 x 800 的尺寸进行编码需要重新设置 x264 的编码参数*/mOnChangedSizeListener.onChanged(mHeight, mWidth);break;case Surface.ROTATION_90:degrees = 90;break;case Surface.ROTATION_180:degrees = 180;break;case Surface.ROTATION_270:degrees = 270;break;}int result;if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {result = (info.orientation + degrees) % 360;result = (360 - result) % 360; // compensate the mirror} else { // back-facingresult = (info.orientation - degrees + 360) % 360;}mCamera.setDisplayOrientation(result);}

【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )相关推荐

  1. 【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

    文章目录 安卓直播推流专栏博客总结 一. 后置摄像头顺时针旋转 90 度 二. 前置摄像头顺时针旋转 90 度 三. NV21 格式图像旋转代码 安卓直播推流专栏博客总结 Android RTMP 直 ...

  2. NV21 图像旋转处理 ( 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

    1 . NV21 格式图像数据的排列 : 16 1616 个 Y 灰度数据在前 , 然后 4 44 组 ( 8 88 个 ) VU 色彩值 , 饱和度 , 数据交替存放 ; 2 . NV21 格式的图 ...

  3. python将矩阵顺时针旋转90度_在Python中将方形矩阵逆时针旋转90度的程序

    假设我们有一个正方形矩阵,我们必须将其逆时针旋转90度.147 258 369 那么输出将是789 456 1个23 为了解决这个问题,我们将遵循以下步骤-如果矩阵为空,则返回一个空白列表 n:=矩阵 ...

  4. 有一副由NxN矩阵表示的图像，这里每个像素用一个int表示，请编写一个算法，在不占用额外内存空间的情况下(即不使用缓存矩阵)，将图像顺时针旋转90度。 给定一个NxN的矩阵，和矩阵的阶数N,请返回旋转

    有一副由NxN矩阵表示的图像,这里每个像素用一个int表示,请编写一个算法,在不占用额外内存空间的情况下(即不使用缓存矩阵),将图像顺时针旋转90度. 给定一个NxN的矩阵,和矩阵的阶数N,请返回旋转 ...

  5. node 16位 转24位_同时将24位和32位BMP图像顺时针旋转90度

    上一次我们将24位的皮卡丘旋转了90度,但是后来改需求了...要求把32位的.bmp文件也能够旋转90度.上次就懵逼的我继续懵逼,只好继续转向CSDN求助. 浏览了各种求助帖(还找到了数年前的信科大一 ...

  6. matlab如何将横轴上的汉字旋转90度,第72节：在液晶屏中把字体顺时针旋转90度显示的算法程序...

    从业近十年!手把手教你单片机程序框架 第72讲 开场白: 我曾经遇到过这样的项目,客户由于外壳结果的原因,故意把液晶屏物理位置逆时针旋转了90度,在这种情况下,如果按之前的显示驱动就会发现字体也跟着倒 ...

  7. 手机屏幕旋转（手动+自动）

    一直以为手机屏幕旋转在 代码中设置强制转换就可以了 setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);//横屏设置 ...

  8. android 手机屏幕旋转机制与使用说明

    android 屏幕旋转机制与使用说明 一 Overview 在开发android应用的时候,有可能需要让应用程序随着系统设置而进行调整,比如判断系统的屏幕方向.判断系统方向的方向导航设备等.除此之外 ...

  9. android 三星手机拍照旋转90度,解决三星拍照上传照片被旋转90度，和三星相机崩溃...

    刚刚想起来前几天面试的时候遇到的一个问题, 问题大概是这样的做拍照上传图片功能的时候,在三星手机上拍出的照片是旋转了90度的,应该如何解决这个问题.因为之前没有遇到过这种问题,当时我回答的是给图片做一 ...

最新文章

  1. sun m5000 snapshot
  2. 理解JSON.stringify()高级用法
  3. Java程序员从笨鸟到菜鸟之（四十四）细谈struts2（七）数据类型转换详解
  4. Script:GridControl Repository Health Check
  5. tsc244标签编辑软件_能打小票的标签机，M110智能标签打印机来了！
  6. 常用的lucene分词器-笔记
  7. 增强的Java FTP工具----扩展免费版的edtftpj
  8. Go Web编程--给自己写的服务器添加错误和访问日志
  9. Linux中常用的网络命令
  10. C#中使用Monitor类、Lock和Mutex类来同步多线程的执行
  11. python爬虫——爬取b站APP视频信息（通过fiddler抓包工具）
  12. 2020年华为鲲鹏产业体系研究深度报告
  13. Java图书管理系统(控制台程序)
  14. 内存笔记之DIMM与DDR
  15. [ZJOI2018]保镖
  16. BUG:Android开发模拟器运行出现Detected ADB对话框
  17. 知乎与百度知道竞品分析-用户五要素
  18. OpenCV更改图片颜色
  19. 第13届景驰-埃森哲杯广东工业大学ACM程序设计大赛
  20. 夕阳落山图（js 夕阳下山）

热门文章

  1. Imc连环画《红楼梦》
  2. 石川es6课程---4、箭头函数
  3. Loading class `com.mysql.jdbc.Driver'. This is deprecated警告处理
  4. 线性递推式+求第N项，用矩阵快速幂 如何构造初始矩阵
  5. LeetCode——15. 3Sum
  6. nprogress.js 头部进度条使用方法
  7. 人生中五个遗憾，共勉
  8. Automatic Summarization of Bug Reports
  9. 【转载】微服务，我们需要哪些基础框架？
  10. C#正则表达式提取HTML中IMG标签的SRC地址(转)