iOS平台基于ffmpeg的视频直播技术揭秘
现在非常流行直播,相信很多人都跟我一样十分好奇这个技术是如何实现的,正好最近在做一个ffmpeg的项目,发现这个工具很容易就可以做直播,下面来给大家分享下技术要点:
首先你得编译出ffmpeg运行所需的静态库,这个百度一下有很多内容,这里我就不多说了,建议可以用Github上的一个开源脚本来编译,简单粗暴有效率。
地址:GitHub - kewlbear/FFmpeg-iOS-build-script: Shell scripts to build FFmpeg for iOS and tvOS
下载后直接用终端运行build-ffmpeg.sh脚本就行了,大概半个小时就全部编译好了…反正我觉得速度还行吧(PS:当初编译Android源码那叫一个慢啊…),若是报错就再来一遍,直到提示成功。
视频直播怎么直播呢?大概流程图如下:
1.直播人设备端:从摄像头获取视频流,然后使用rtmp服务提交到服务器
2.服务器端:接收直播人提交的rtmp视频流,并为观看者提供rtmp源
3.观看者:用播放器播放rtmp源的视频.
PS:RTMP是Real Time Messaging Protocol(实时消息传输协议)的首字母缩写。该协议基于TCP,是一个协议族,包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。
前期准备:
新建一个项目,将所有需要引入的ffmpeg的静态库及其他相关库引入到工程中,配置头文件搜索路径,这一步网上有很多教程就不重复叙述了。
我是用上面脚本编译的最新版,为了后期使用,需要将这些C文件添加到项目:
cmdutils_common_opts.hcmdutils.h及cmdutils.cconfig.h在scratch目录下取个对应平台的ffmpeg_filter.cffmpeg_opt.cffmpeg_videotoolbox.cffmpeg.h及ffmpeg.c
除了config.h文件外,别的文件均在ffmpeg-3.0源码目录中
注意问题:
1.编译会报错,因为ffmpeg.c文件中包含main函数,请将该函数重命名为ffmpeg_main并在ffmpeg.h中添加ffmpeg_main函数的声明.
2.ffmpeg任务完成后会结束进程,而iOS设备都是单进程多线程任务,所以需要将cmdutils.c文件中的exit_program方法中的
exit(ret);
改为结束线程,需要引入#include
pthread_exit(NULL);
直播端:用ffmpeg库抓取直播人设备的摄像头信息,生成裸数据流stream,注意!!!这里是裸流,裸流意味着什么呢?就是不包含PTS(Presentation Time Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来)、DTS(Decode Time Stamp。DTS主要是标识读入内存中的bit流在什么时候开始送入解码器中进行解码)等信息的数据流,播放器拿到这种流是无法进行播放的.将这个客户端只需要将这个数据流以RTMP协议传到服务器即可。
如何获取摄像头信息:
使用libavdevice库可以打开获取摄像头的输入流,在ffmpeg中获取摄像头的输入流跟打开文件输入流很类似,示例代码:
//打开一个文件: AVFormatContext*pFormatCtx =avformat_alloc_context();avformat_open_input(&pFormatCtx,"test.h264",NULL,NULL);//获取摄像头输入: AVFormatContext*pFormatCtx =avformat_alloc_context();//多了查找输入设备的这一步 AVInputFormat*ifmt=av_find_input_format("vfwcap");//选取vfwcap类型的第一个输入设别作为输入流 avformat_open_input(&pFormatCtx,0, ifmt,NULL);
如何使用RTMP上传视频流:
使用RTMP上传文件的指令是:
使用ffmpeg.c中的ffmpeg_main方法直接运行该指令即可,示例代码:
NSString*command =@"ffmpeg -re -i temp.h264 -vcodec copy -f flv rtmp://xxx/xxx/livestream";//根据空格将指令分割为指令数组 NSArray*argv_array=[command_strcomponentsSeparatedByString:(@" ")];//将OC对象转换为对应的C对象 intargc=(int)argv_array.count;char** argv=(char**)malloc(sizeof(char*)*argc);for(inti=0;i{argv[i]=(char*)malloc(sizeof(char)*1024);strcpy(argv[i],[[argv_arrayobjectAtIndex:i]UTF8String]);}//传入指令数及指令数组 ffmpeg_main(argc,argv);//线程已杀死,下方的代码不会执行 ffmpeg -re -itemp.h264 -vcodec copy -f flvrtmp://xxx/xxx/livestream
这行代码就是
-re参数是按照帧率发送,否则ffmpeg会按最高速率发送,那么视频会忽快忽慢,
-itemp.h264是需要上传的裸h264流
-vcoder copy 这段是复制一份不改变源
-f flvrtmp://xxx/xxx/livestream是指定格式为flv发送到这个url
这里看到输入是裸流或者是文件,但是我们从摄像头获取到的是直接内存流,这怎么解决呢?
当然是有办法的啦
1.将这串参数中temp.h264参数变为null
2.初始化自定义的AVIOContext,指定自定义的回调函数。示例代码如下:
NSString*command =@"ffmpeg -re -i temp.h264 -vcodec copy -f flv rtmp://xxx/xxx/livestream";//根据空格将指令分割为指令数组 NSArray*argv_array=[command_strcomponentsSeparatedByString:(@" ")];//将OC对象转换为对应的C对象 intargc=(int)argv_array.count;char** argv=(char**)malloc(sizeof(char*)*argc);for(inti=0;i{argv[i]=(char*)malloc(sizeof(char)*1024);strcpy(argv[i],[[argv_arrayobjectAtIndex:i]UTF8String]);}//传入指令数及指令数组 ffmpeg_main(argc,argv);//线程已杀死,下方的代码不会执行 ffmpeg -re -itemp.h264 -vcodec copy -f flvrtmp://xxx/xxx/livestream
3. 自己写回调函数,从输入源中取数据。示例代码如下:
//Callback intread_buffer(void*opaque, uint8_t *buf,intbuf_size){//休眠,否则会一次性全部发送完if(pkt.stream_index==videoindex){AVRational time_base=ifmt_ctx->streams[videoindex]->time_base;AVRational time_base_q={1,AV_TIME_BASE};int64_t pts_time = av_rescale_q(pkt.dts, time_base, time_base_q);int64_t now_time = av_gettime() - start_time;if(pts_time > now_time)av_usleep(pts_time - now_time);}//fp_open替换为摄像头输入流if(!feof(fp_open)){inttrue_size=fread(buf,1,buf_size,fp_open);returntrue_size;}else{return-1;}}
服务端:原谅我一个移动开发不懂服务器端,大概应该是获取直播端上传的视频流再进行广播.所以就略过吧.
播放端:播放端实际上就是一个播放器,可以有很多解决方案,这里提供一种最简单的,因为很多直播软件播放端和客户端都是同一个软件,所以这里直接使用项目中已经有的ffmpeg进行播放简单粗暴又省事.
在Github上有个基于ffmpeg的第三方播放器kxmovie,直接用这个就好.
地址:GitHub - kolyvan/kxmovie: movie player for iOS using ffmpeg
当你把kxmovie的播放器部分添加到之前做好的上传部分,你会发现报错了......
查找的结果是kxmovie所使用的avpicture_deinterlace方法不存在,我第一个想法就是想办法屏蔽到这个方法,让程序能正常使用,结果......当然不能正常播放视频了,一百度才发现这个方法居然是去交错,虽然我视频只是不够丰富,但是也知道这个方法肯定是不能少的.
没事,只有改源码了.从ffmpeg官方源码库中可以找到这个方法.
地址:ffmpeg.org/doxygen/1.0/imgconvert_8c-source.html#l00940
发现这个方法在之前的实现中是在avcodec.h中声明是AVPicture的方法,然后在avpicture.c中再调用libavcodec/imgconvert.c这个文件中,也就是说这个方法本身就是属于imgconvert.c的,avpicture.c只是间接调用,查找ffmpeg3.0的imgconvert.c文件,居然没这个方法,但是官方代码库中是有这个方法的,难道是已经移除了?移除不移除关我毛事,我只想能用,所以简单点直接改avpicture.c
首先添加这几个宏定义
#define deinterlace_line_inplace deinterlace_line_inplace_c#define deinterlace_line deinterlace_line_c#define ff_cropTbl ((uint8_t *)NULL)
然后从网页上复制这几个方法到avpicture.c文件中
static void deinterlace_line_cstatic void deinterlace_line_inplace_cstatic void deinterlace_bottom_fieldstatic void deinterlace_bottom_field_inplaceint avpicture_deinterlace
再在avcodec.h头文件中,avpicture_alloc方法下面添加声明:
attribute_deprecatedintavpicture_deinterlace(AVPicture*dst,constAVPicture*src,enumAVPixelFormatpix_fmt,intwidth,intheight);
保存后再用终端执行build-ffmpeg.sh脚本编译一次就行了…再次导入项目中kxmovie就不会报错了,播放视频的代码如下:
KxMovieViewController*vc = [KxMovieViewControllermovieViewControllerWithContentPath:pathparameters:nil];[selfpresentViewController:vcanimated:YEScompletion:nil];
注:其中path可以是以http/rtmp/trsp开始的url
转载于:https://www.cnblogs.com/fengmin/p/5587223.html
iOS平台基于ffmpeg的视频直播技术揭秘相关推荐
- 视频直播技术之iOS端推流
随着网络基础建设的发展和资费的下降,在这个内容消费升级的时代,文字.图片无法满足人们对视觉的需求,因此视频直播应运而生.承载了实时性Real-Time和交互性的直播云服务是直播覆盖各行各业的新动力.网 ...
- 视频直播技术之iOS端推流 1
随着网络基础建设的发展和资费的下降,在这个内容消费升级的时代,文字.图片无法满足人们对视觉的需求,因此视频直播应运而生.承载了实时性Real-Time和交互性的直播云服务是直播覆盖各行各业的新动力.网 ...
- iOS 视频直播技术
iOS 视频直播技术 直播难:直播中运用到的技术难点非常之多,视频/音频处理,图形处理,视频/音频压缩,CDN分发,即时通讯等技术,每一个技术都够你学几年的. 直播易:市场已经有很多成熟的案例了.最常 ...
- 直播平台软件开发的前端如何实现整套视频直播技术流程
直播平台软件开发的前端如何实现整套视频直播技术流程 正文 下面按照目录大纲来一个一个讲解. 1. 直播技术的介绍 直播技术涵盖很广,现如今大家广泛了解的就有视频网站的个人直播.手机直播.安防方面的摄像 ...
- android全平台基于ffmpeg解码本地MP4视频推流到RTMP服务器
音视频实践学习 android全平台编译ffmpeg以及x264与fdk-aac实践 ubuntu下使用nginx和nginx-rtmp-module配置直播推流服务器 android全平台编译ffm ...
- 音视频开发(23)---音视频直播技术--10分钟搭建好直播平台
音视频直播技术--10分钟搭建好直播平台 前言 今天给大家讲一下如何搭建最简单的音视频直播平台.在之前的文章中我已经给大家介绍过音视频直播技术架构,没看过的同学可以看一下.了解了直播的技术架构,我们就 ...
- 视频直播技术详解(3)编码和封装
声明:本文为CSDN原创投稿文章,未经许可,禁止任何形式的转载. 作者:七牛云 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群 ...
- 【云中沙箱】视频直播技术浅析与实践!
作者:鲍天舒 公司:上海驻云信息科技有限公司 云中沙箱,阿里云官方实验平台.网址:http://lab.aliyunedu.net 云中沙箱实验,教您如何部署视频直播平台! 1. "快速部 ...
- 《视频直播技术详解》之(四):编码和封装
七牛云于 6 月底发布了一个针对视频直播的实时流网络 LiveNet 和完整的直播云解决方案,很多开发者对这个网络和解决方案的细节和使用场景非常感兴趣. 结合七牛实时流网络 LiveNet 和直播云解 ...
- 关于移动视频直播技术,关键干货都在这里了(三)编码和封装
关于直播的技术文章不少,成体系的不多.我们将用七篇文章,更系统化地介绍当下大热的视频直播各环节的关键技术,帮助视频直播创业者们更全面.深入地了解视频直播技术,更好地技术选型. 视频编码是视频直播技术系 ...
最新文章
- 2008年校本培训之论文 封面
- OpenCV3编程入门(毛星云)之基于OpenCV的边缘检测
- distributed processing(分布式处理)
- C++——构造高度平衡的BST,并按层序输出
- Excel的裁剪(trimming)(トリミング)功能使用介绍
- linux代码实现进程监控,linux进程监控shell脚本代码
- 【React】JSX
- Linux虚拟化技术KVM入门必看
- python selenium 等待页面加载完毕_python3 selenium 设置元素等待的三种方法
- 日期相关的小函数汇总
- matlab解三角函数方程组,用matlab解三角函数方程组:y=A+Bx+Csin(Dx)+Esin(Fx)
- FS FT DTFT DFT关系及频谱分析总结
- 计算机未来的发展英语作文,关于科技发展英语作文(通用10篇)
- 99%的人都能看懂的MQ补偿机制
- 酵素果冻真的能减肥吗?
- Pdf 插入图片 | 指定位置插入图片 不改变原格式 直接操作 pdf
- 人生各个年龄段的称谓
- PR模板 复古回忆棱镜光效梦幻内容展示PR视频模板
- dom4j的Element
- 如何评估个人的软件开发能力