android音/视频,直播
流媒体
采用流式传输的方式在Internet / Intranet播放的媒体格式.流媒体的数据流随时传送随 时播放,只是在开始时有些延迟。边下载边播入的流式传输方式不仅使启动延时大幅度地缩短,而且对系统缓存容量的需求也大大降低,极大地减少用户用在等待的时间。
多媒体的格式分类
封装格式(专业上讲叫容器,通俗的叫文件格式),视频编解码,音频编解码。
常见的封装格式:
·MPEG : 编码采用的容器,具有流的特性。里面又分为 PS,TS 等,PS 主要用于 DVD 存储,TS 主要用于 HDTV.
·MPEG Audio Layer 3 :大名鼎鼎的 MP3,已经成为网络音频的主流格式,能在 128kbps 的码率接近 CD 音质
·MPEG-4(Mp4) : 编码采用的容器,基于 QuickTime MOV 开发,具有许多先进特性;实际上是对Apple公司开发的MOV格式(也称Quicktime格式)的一种改进。
·MKV: 它能把 Windows Media Video,RealVideo,MPEG-4 等视频音频融为一个文件,而且支持多音轨,支持章节字幕等;开源的容器格式。
·3GP : 3GPP视频采用的格式, 主要用于流媒体传送;3GP其实是MP4格式的一种简化版本,是手机视频格式的绝对主流。
·MOV : QuickTime 的容器,恐怕也是现今最强大的容器,甚至支持虚拟现实技术,Java等,它的变种 MP4,3GP都没有这么厉害;广泛应用于Mac OS操作系统,在Windows操作系统上也可兼容,但是远比不上AVI格式流行
·AVI : 最常见的音频视频容器,音频视频交错(Audio Video Interleaved)允许视频和音频交错在一起同步播放。
·WAV : 一种音频容器,大家常说的 WAV 就是没有压缩的 PCM 编码,其实 WAV 里面还可以包括 MP3 等其他 ACM 压缩编码。
1.3 流媒体协议(RTP RTCP RTSP RTMP HLS)
(1)RTP RTCP RTSP
·RTP :(Real-time Transport Protocol)是用于Internet上针对多媒体数据流的一种传输层协议。RTP协议和RTP控制协议RTCP一起使用,而且它是建立在UDP协议上的。
·RTCP:Real-time Transport Control Protocol或RTP Control Protocol或简写RTCP,实时传输控制协议,是实时传输协议(RTP)的一个姐妹协议。RTP协议和RTP控制协议RTCP一起使用,而且它是建立在UDP协议上的。
·RTSP:(Real Time Streaming Protocol)是用来控制声音或影像的多媒体串流协议,RTSP提供了一个可扩展框架,使实时数据,如音频与视频的受控、点播成为可能。
·数据源包括现场数据与存储在剪辑中的数据。该协议目的在于控制多个数据发送连接,为选择发送通道,如UDP、多播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。
·传输时所用的网络通讯协定并不在其定义的范围内,服务器端可以自行选择使用TCP或UDP来传送串流内容,比较能容忍网络延迟。
·RTP不像http和ftp可完整的下载整个影视文件,它是以固定的数据率在网络上发送数据,客户端也是按照这种速度观看影视文件,当影视画面播放过后,就不可以再重复播放,除非重新向服务器端要求数据。
·RTSP与RTP最大的区别在于:RTSP是一种双向实时数据传输协议,它允许客户端向服务器端发送请求,如回放、快进、倒退等操作。当然,RTSP可基于RTP来传送数据,还可以选择TCP、UDP、组播UDP等通道来发送数据,具有很好的扩展性。它时一种类似与http协议的网络应用层协议
(2)RTMP 可以做直播
RTMP(Real Time Messaging Protocol(实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。
(3)HLS
HTTP Live Streaming(HLS)是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议,可实现流媒体的直播和点播,主要应用在iOS系统,为iOS设备(如iPhone、iPad)提供音视频直播和点播方案。HLS点播,基本上就是常见的分段HTTP点播,不同在于,它的分段非常小。
相对于常见的流媒体直播协议,例如RTMP协议、RTSP协议、MMS协议等,HLS直播最大的不同在于,直播客户端获取到的,并不是一个完整的数据流。
HLS协议在服务器端将直播数据流存储为连续的、很短时长的媒体文件(MPEG-TS格式),而客户端则不断的下载并播放这些小文件。因为服务器端总是会将最新的直播数据生成新的小文件,这样客户端只要不停的按顺序播放从服务器获取到的文件,就实现了直播。
由此可见,基本上可以认为,HLS是以点播的技术方式来实现直播。由于数据通过HTTP协议传输,所以完全不用考虑防火墙或者代理的问题,而且分段文件的时长很短,客户端可以很快的选择和切换码率,以适应不同带宽条件下的播放。不过HLS的这种技术特点,决定了它的延迟一般总是会高于普通的流媒体直播协议。
二、Android音视频的开发
·播放流程: 获取流—>解码—>播放
·录制播放路程: 录制音频视频—>剪辑—>编码—>上传服务器 别人播放.
·直播过程 : 录制音视频—>编码—>流媒体传输—>服务器—>流媒体传输到其他app—>解码—>播放
几个重要的环节
·录制音视频 AudioRecord/MediaRecord
·视频剪辑 mp4parser 或ffmpeg
·音频编码aac 视频编码h.264
·上传大文件 网络框架,进度监听,断点续传
·流媒体传输 流媒体传输协议rtmp rtsp hls
·音频解码aac 视频解码h.264
Android本身有提供MediaPlayer,那么mediaplayer支持哪些格式的流媒体协议呐?又支持哪些解码器呐?兼容性如何?功能如何?
·MPEG-2:制定于1994年,设计目标为高级工业标准的图像质量以及更高的传输率。这种格式主要应用在DVD/SVCD的制作(压缩)方面,同时在一些HDTV(高清晰电视广播)和一些高要求视频编辑、处理上面也有相当的应用。使用MPEG-2的压缩算法,可以把一部120分钟长的电影压缩到4到8GB的大小。这种视频格式的文件扩展名包括.mpg、.mpe、.mpeg、.m2v及DVD光盘上的.vob文件等。
·MPEG-4:制定于1998年,MPEG-4是为了播放流式媒体的高质量视频而专门设计的,它可利用很窄的带宽,通过帧重建技术,压缩和传输数据,以求使用最少的数据获得最佳的图像质量。目前MPEG-4最有吸引力的地方在于它能够保存接近于DVD画质的小体积视频文件。另外,这种文件格式还包含了以前MPEG压缩标准所不具备的比特率的可伸缩性、动画精灵、交互性甚至版权保护等一些特殊功能。这种视频格式的文件扩展名包括.asf、.mov和DivX AVI等。
从上图我们也看到,android平台自身支持的音视频解码是有限的 一般的mp3 mp4….3gp 等等 其他的只能自己解码了。
那么如何解码呐?经过一番调研对比、选择乐ijkplayer。
三、ijkplayer的引入&介绍&使用
正如上文所说,Android本身对音视频流媒体传输协议,以及音视频编解码支持有限。所以对于直播类应用,要自己解码。
3.1 调研过程
·vitamio
·webRTC
·ffmpeg
·vlc
·ijkplayer
先说下 vitamio,这个是功能很强大,但是企业收费版的,个人用户可以玩玩。
目前WebRTC,只适合小范围(8人以内)音视频会议,不适合做直播。
接下来介绍下 ffmpeg、vlc、ijkplayer以及选择方案。
ffmpeg是一个非常强大的音视频编解码开源库,目前市场上流行的播放器,大部分都是基于此开发的,包括暴风、腾讯等等以及上面提到的vitamio、vlc、ijkplayer。
vlc支持android开发,ijkplayer也支持。通过反编译网易云音乐,以及YY等音视频app,发现网易云音乐、斗鱼用的ijkplayer,YY用的VLC。
那么vlc&ijkplayer相比较各有什么优缺点呢?该如何选择呢?
其实这个没有深入分析,ijkplayer是bilibili开源的音视频编解码库,对Android,iOS进行和很好的抽取封装,易于编译使用。vlc尝试过,稍微复杂些。
3.2 ijkplayer的导入&编译&使用
此部分为代码示例,手机不易查看。感兴趣的同学,可以点阅读原文,查看作者博客原文。
1 硬编码 & 软编码
硬编码:通过调用Android系统自带的Camera录制视频,实际上是调用了底层的高清编码硬件模块,也即显卡,不使用CPU,速度快
软编码:使用CPU进行编码,如常见C/C++代码,一般编译生成的二进制都是的,速度相对较慢。例如使用Android NDK编译H264生成so库,编写jni接口,再使用java调用so库。
- 软编码:使用CPU进行编码
- 硬编码:使用非CPU进行编码,如显卡GPU、专用的DSP、FPGA、ASIC芯片等
编码就是将视频以一种代码的方式编写下来并保存的行为,比如说将一段视频压制成X264格式或者XVID格式,或者将一段视频转换成其他格式都是在视频编码。
解码就是将已转换成代码的视频文件通过对应的工具(也就是解码器)重新转换成视频的形式,然后给你播放出来,因为各种格式的视频文件虽然叫视频文件,它们本身仍旧是一段代码,只有通过特定的工具,也就是解码器将对应的代码转换成视频的形式,才能让你看见视频的内容。
所以视频播放器调用解码器将视频文件解码之后才能播放出来,有时候你的播放器无法播放一段视频,就可能是因为播放器并没有相应的解码器,或者电脑里没有对应的解码器给播放器使用,所以播放失败。
直播
android音/视频,直播相关推荐
- android 音视频直播
@Author:明明不说话 @Statement:博客内容纯属个人观点,欢迎转载,转载请注明,谢谢 android 基于rtmp的语音采集和播放 前段时间研究了android使用rtmp协议进行语音采 ...
- Android音视频点/直播模块开发
前言 随着音视频领域的火热,在很多领域(教育,游戏,娱乐,体育,跑步,餐饮,音乐等)尝试做音视频直播/点播功能,那么作为开发一个小白,如何快速学习音视频基础知识,了解音视频编解码的传输协议,编解码方式 ...
- 直播平台源码搭建教程之Android音视频开发
直播平台源码搭建教程之Android音视频开发 音频 将声音保存成音频的过程,其实就是将模拟音频数字化的过程,为了实现这个过程,就需要对模拟音频进行采样.量化和编码.接下来我们详细讲解这一过程. 采样 ...
- Android音视频点/直播模块开发实践总结-zz
随着音视频领域的火热,在很多领域(教育,游戏,娱乐,体育,跑步,餐饮,音乐等)尝试做音视频直播/点播功能.那么作为开发一个小白,如何快速学习音视频基础知识,了解音视频编解码的传输协议,编解码方式,以及 ...
- 直播软件搭建Android音视频方向进阶路线及资源合集
直播软件搭建Android音视频方向进阶路线及资源合集 直播软件搭建的音视频从采集到播放都经历了哪些流程呢:: 通过上面的图,我们简单的把音视频方向分为主要的两块: 媒体部分(蓝色+绿色) 传输部分( ...
- Android音视频学习系列(八) — 基于Nginx搭建(rtmp、http)直播服务器
系列文章 Android音视频学习系列(一) - JNI从入门到精通 Android音视频学习系列(二) - 交叉编译动态库.静态库的入门 Android音视频学习系列(三) - Shell脚本入门 ...
- 音视频直播--技术架构
前言 今天和大家讲一下音视频直播技术架构.之前的关注点主要放在客户端如何采集音频数据上,经过这两天的思考,我觉得应该先给大家讲一下音视频直播技术架构,这样更容易从整体上理解视频直播技术是如何运转的,之 ...
- android音视频指南-支持的媒体格式
android音视频指南-支持的媒体格式 本文描述了Android平台提供的媒体编解码器.容器和网络协议支持. 作为应用程序开发人员,您可以使用任何可以在任何Android设备上使用的媒体编解码器,包 ...
- 音视频开发(23)---音视频直播技术--10分钟搭建好直播平台
音视频直播技术--10分钟搭建好直播平台 前言 今天给大家讲一下如何搭建最简单的音视频直播平台.在之前的文章中我已经给大家介绍过音视频直播技术架构,没看过的同学可以看一下.了解了直播的技术架构,我们就 ...
最新文章
- go kegg_零基础 GO 与 KEGG 分析,手把手教你用多种途径实现!
- MySQL的字符编码体系(一)——数据存储编码
- s6-9 TCP 定时器
- 单体、分布式、微服务、Serverless软件架构一览
- [html] 你对标签语义化的理解是什么?
- [css] 如何让IE6支持min-width和max-width?
- 前端学习(588):console面板简介与交互式命令
- Linux-kernel网桥代码分析(二)
- python多重继承super父类参数_多重继承如何处理super()和不同的参数?
- C语言求一个数的倒数的平方根近似值
- 单片机奇偶交替闪烁_自学单片机第十三篇中:单点交替
- 苹果绕id工具_绕ID教程(iOS13.313.3.1)
- 【高速PCB电路设计】1.高速PCB设计概述
- 【软件测试基础】软件测试模式
- 深入理解Java-GC机制
- 千年db服务器注册,千年服务器架设说明.doc
- 分享一个微信扫码连wifi项目
- vue+vant+springboot+netty仿照微信聊天和朋友圈
- 毁灭行星,微信小游戏开发
- 毕业后的档案问题——详细流程