【如何快速的开发一个完整的iOS直播app】(采集篇)

转载自简书@袁峥Seemygo:http://www.jianshu.com/p/c71bfda055fa

前言

  开发一款直播app,首先需要采集主播的视频和音频,然后传入流媒体服务器,本篇主要讲解如何采集主播的视频和音频,当前可以切换前置后置摄像头和焦点坐标。

基本知识介绍

  • AVFoundation:音视频数据采集需要用AVFoundation框架.

  • AVCaptureDevice:硬件设备,包括麦克风、摄像头,通过该对象可以设置物理设备的一些属性(例如相机聚焦、白平衡等)

  • AVCaptureDeviceInput:硬件输入对象,可以根据AVCaptureDevice创建对应的AVCaptureDeviceInput对象,用于管理硬件输入数据。
  • AVCaptureOutput:硬件输出对象,用于接收各类输出数据,通常使用对应的子类AVCaptureAudioDataOutput(声音数据输出对象)、  AVCaptureVideoDataOutput(视频数据输出对象)
  • AVCaptureConnection:当把一个输入和输出添加到AVCaptureSession之后,AVCaptureSession就会在输入、输出设备之间建立连接,而且通过AVCaptureOutput可以获取这个连接对象。
  • AVCaptureVideoPreviewLayer:相机拍摄预览图层,能实时查看拍照或视频录制效果,创建该对象需要指定对应的AVCaptureSession对象,因为AVCaptureSession包含视频输入数据,有视频数据才能展示。
  • AVCaptureSession:协调输入和输出之间传递数据 

    • 系统作用:可以操作硬件设备
    • 工作原理:让App与系统之间产生一个捕获会话,相当于App与硬件设备有联系了, 我们只需要把硬件输入对象和输出对象添加到会话中,会话就会自动把硬件输入对象和输出产生连接,这样硬件输入与输出设备就能传输音视频数据。
    • 现实生活场景:租客(输入钱),中介(会话),房东(输出房),租客和房东都在中介登记,中介就会让租客与房东之间产生联系,以后租客就能直接和房东联系了。

捕获音视频步骤:官方文档

  • 1.创建AVCaptureSession对象
  • 2.获取AVCaptureDevicel录像设备(摄像头),录音设备(麦克风),注意不具备输入数据功能,只是用来调节硬件设备的配置。
  • 3.根据音频/视频硬件设备(AVCaptureDevice)创建音频/视频硬件输入数据对象(AVCaptureDeviceInput),专门管理数据输入。
  • 4.创建视频输出数据管理对象(AVCaptureVideoDataOutput),并且设置样品缓存代理(setSampleBufferDelegate)就可以通过它拿到采集到的视频数据
  • 5.创建音频输出数据管理对象(AVCaptureAudioDataOutput),并且设置样品缓存代理(setSampleBufferDelegate)就可以通过它拿到采集到的音频数据
  • 6.将数据输入对象AVCaptureDeviceInput、数据输出对象AVCaptureOutput添加到媒体会话管理对象AVCaptureSession中,就会自动让音频输入与输出和视频输入与输出产生连接.
  • 7.创建视频预览图层AVCaptureVideoPreviewLayer并指定媒体会话,添加图层到显示容器layer中
  • 8.启动AVCaptureSession,只有开启,才会开始输入到输出数据流传输。
// 捕获音视频
- (void)setupCaputureVideo
{// 1.创建捕获会话,必须要强引用,否则会被释放AVCaptureSession *captureSession = [[AVCaptureSession alloc] init];_captureSession = captureSession;// 2.获取摄像头设备,默认是后置摄像头AVCaptureDevice *videoDevice = [self getVideoDevice:AVCaptureDevicePositionFront];// 3.获取声音设备AVCaptureDevice *audioDevice = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];// 4.创建对应视频设备输入对象AVCaptureDeviceInput *videoDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:videoDevice error:nil];_currentVideoDeviceInput = videoDeviceInput;// 5.创建对应音频设备输入对象AVCaptureDeviceInput *audioDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:audioDevice error:nil];// 6.添加到会话中// 注意“最好要判断是否能添加输入,会话不能添加空的// 6.1 添加视频if ([captureSession canAddInput:videoDeviceInput]) {[captureSession addInput:videoDeviceInput];}// 6.2 添加音频if ([captureSession canAddInput:audioDeviceInput]) {[captureSession addInput:audioDeviceInput];}// 7.获取视频数据输出设备AVCaptureVideoDataOutput *videoOutput = [[AVCaptureVideoDataOutput alloc] init];// 7.1 设置代理,捕获视频样品数据// 注意:队列必须是串行队列,才能获取到数据,而且不能为空dispatch_queue_t videoQueue = dispatch_queue_create("Video Capture Queue", DISPATCH_QUEUE_SERIAL);[videoOutput setSampleBufferDelegate:self queue:videoQueue];if ([captureSession canAddOutput:videoOutput]) {[captureSession addOutput:videoOutput];}// 8.获取音频数据输出设备AVCaptureAudioDataOutput *audioOutput = [[AVCaptureAudioDataOutput alloc] init];// 8.2 设置代理,捕获视频样品数据// 注意:队列必须是串行队列,才能获取到数据,而且不能为空dispatch_queue_t audioQueue = dispatch_queue_create("Audio Capture Queue", DISPATCH_QUEUE_SERIAL);[audioOutput setSampleBufferDelegate:self queue:audioQueue];if ([captureSession canAddOutput:audioOutput]) {[captureSession addOutput:audioOutput];}// 9.获取视频输入与输出连接,用于分辨音视频数据_videoConnection = [videoOutput connectionWithMediaType:AVMediaTypeVideo];// 10.添加视频预览图层AVCaptureVideoPreviewLayer *previedLayer = [AVCaptureVideoPreviewLayer layerWithSession:captureSession];previedLayer.frame = [UIScreen mainScreen].bounds;[self.view.layer insertSublayer:previedLayer atIndex:0];_previedLayer = previedLayer;// 11.启动会话
    [captureSession startRunning];
}// 指定摄像头方向获取摄像头
- (AVCaptureDevice *)getVideoDevice:(AVCaptureDevicePosition)position
{NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];for (AVCaptureDevice *device in devices) {if (device.position == position) {return device;}}return nil;
}#pragma mark - AVCaptureVideoDataOutputSampleBufferDelegate
// 获取输入设备数据,有可能是音频有可能是视频
- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{if (_videoConnection == connection) {NSLog(@"采集到视频数据");} else {NSLog(@"采集到音频数据");}
}

视频采集额外功能一(切换摄像头)

  • 切换摄像头步骤

    • 1.获取当前视频设备输入对象
    • 2.判断当前视频设备是前置还是后置
    • 3.确定切换摄像头的方向
    • 4.根据摄像头方向获取对应的摄像头设备
    • 5.创建对应的摄像头输入对象
    • 6.从会话中移除之前的视频输入对象
    • 7.添加新的视频输入对象到会话中
// 切换摄像头
- (IBAction)toggleCapture:(id)sender {// 获取当前设备方向AVCaptureDevicePosition curPosition = _currentVideoDeviceInput.device.position;// 获取需要改变的方向AVCaptureDevicePosition togglePosition = curPosition == AVCaptureDevicePositionFront?AVCaptureDevicePositionBack:AVCaptureDevicePositionFront;// 获取改变的摄像头设备AVCaptureDevice *toggleDevice = [self getVideoDevice:togglePosition];// 获取改变的摄像头输入设备AVCaptureDeviceInput *toggleDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:toggleDevice error:nil];// 移除之前摄像头输入设备
    [_captureSession removeInput:_currentVideoDeviceInput];// 添加新的摄像头输入设备
    [_captureSession addInput:toggleDeviceInput];// 记录当前摄像头输入设备_currentVideoDeviceInput = toggleDeviceInput;}

视频采集额外功能二(聚焦光标)

  • 聚焦光标步骤

    • 1.监听屏幕的点击
    • 2.获取点击的点位置,转换为摄像头上的点,必须通过视频预览图层(AVCaptureVideoPreviewLayer)转
    • 3.设置聚焦光标图片的位置,并做动画
    • 4.设置摄像头设备聚焦模式和曝光模式(注意:这里设置一定要锁定配置lockForConfiguration,否则报错)
// 点击屏幕,出现聚焦视图
- (void)touchesBegan:(NSSet<UITouch *> *)touches withEvent:(UIEvent *)event
{// 获取点击位置UITouch *touch = [touches anyObject];CGPoint point = [touch locationInView:self.view];// 把当前位置转换为摄像头点上的位置CGPoint cameraPoint = [_previedLayer captureDevicePointOfInterestForPoint:point];// 设置聚焦点光标位置
    [self setFocusCursorWithPoint:point];// 设置聚焦
    [self focusWithMode:AVCaptureFocusModeAutoFocus exposureMode:AVCaptureExposureModeAutoExpose atPoint:cameraPoint];
}/***  设置聚焦光标位置**  @param point 光标位置*/
-(void)setFocusCursorWithPoint:(CGPoint)point{self.focusCursorImageView.center=point;self.focusCursorImageView.transform=CGAffineTransformMakeScale(1.5, 1.5);self.focusCursorImageView.alpha=1.0;[UIView animateWithDuration:1.0 animations:^{self.focusCursorImageView.transform=CGAffineTransformIdentity;} completion:^(BOOL finished) {self.focusCursorImageView.alpha=0;}];
}/***  设置聚焦*/
-(void)focusWithMode:(AVCaptureFocusMode)focusMode exposureMode:(AVCaptureExposureMode)exposureMode atPoint:(CGPoint)point{AVCaptureDevice *captureDevice = _currentVideoDeviceInput.device;// 锁定配置
    [captureDevice lockForConfiguration:nil];// 设置聚焦if ([captureDevice isFocusModeSupported:AVCaptureFocusModeAutoFocus]) {[captureDevice setFocusMode:AVCaptureFocusModeAutoFocus];}if ([captureDevice isFocusPointOfInterestSupported]) {[captureDevice setFocusPointOfInterest:point];}// 设置曝光if ([captureDevice isExposureModeSupported:AVCaptureExposureModeAutoExpose]) {[captureDevice setExposureMode:AVCaptureExposureModeAutoExpose];}if ([captureDevice isExposurePointOfInterestSupported]) {[captureDevice setExposurePointOfInterest:point];}// 解锁配置
    [captureDevice unlockForConfiguration];
}

转载于:https://www.cnblogs.com/XYQ-208910/p/5859337.html

iOS:app直播---采集篇相关推荐

  1. iOS:app直播---原理篇

    [如何快速的开发一个完整的iOS直播app](原理篇) 转载自简书@袁峥Seemygo:http://www.jianshu.com/p/7b2f1df74420 一.个人见解(直播难与易) 直播难: ...

  2. 【如何快速的开发一个完整的iOS直播app】(采集篇)

    前言 在看这篇之前,如果您还不了解直播原理,请查看这篇文章如何快速的开发一个完整的iOS直播app(原理篇) 开发一款直播app,首先需要采集主播的视频和音频,然后传入流媒体服务器,本篇主要讲解如何采 ...

  3. iOS APP启动分析篇——启动时间测试

    APP中业务的更新迭代,使APP变得越来越丰富,越来越复杂,这时可能会导致APP启动耗时,我们都希望APP在功能强大的同时,性能也能保持优越的跑分,能够给用户带来更好的体验.这篇文章将介绍APP启动流 ...

  4. (转)【如何快速的开发一个完整的iOS直播app】(原理篇)

    原文链接:https://www.jianshu.com/p/bd42bacbe4cc [如何快速的开发一个完整的iOS直播app](原理篇) [如何快速的开发一个完整的iOS直播app](原理篇) ...

  5. iOS动手做一个直播app开发(代码篇)

    iOS动手做一个直播app开发(代码篇) ###开篇 好久没写简书,因为好奇的我跑去学习直播了,今天就分享一下我的感慨. 目前为止直播还是比较热点的技术的,简书,git上有几篇阅读量和含金量都不错的文 ...

  6. 【如何快速的开发一个简单的iOS直播app】(代码篇)

    开篇([如何快速的开发一个完整的iOS直播app](原理篇) ) 好久没写简书,因为好奇的我跑去学习直播了,今天就分享一下我的感慨. 目前为止直播还是比较热点的技术的,简书,git上有几篇阅读量和含金 ...

  7. 直播网站源码直播平台软件开发iOS动手做一个直播(原理篇)

    直播网站源码直播平台软件开发iOS动手做一个直播(原理篇) 上篇文章主要给出了代码,但是并没有详细说明直播相关的知识,这篇文章就说一下直播的相关理论知识.附上直播代码篇地址. ###推流 腾讯直播平台 ...

  8. 成品app直播源码,iOS键盘弹出遮挡输入框

    成品app直播源码,iOS键盘弹出遮挡输入框解决的相关代码 self.phoneInput = [UITextField new];self.phoneInput.placeholder = @&qu ...

  9. (H5+安卓+ios)直播app系统源码,直播商城带货源码,方维直播app系统,直播短视频源码

    商品介绍 (H5+安卓+ios)直播app系统源码,直播商城带货源码,方维直播app系统,直播短视频源码,本系统有三个版本:带商城直播系统,带H5直播系统,和一般的直播短视频系统,默认带H5版本系统 ...

最新文章

  1. 计算机考研数据库原理真题,四川理工学院计算机学院数据库原理历年考研真题汇编.pdf...
  2. DL之CNN:利用CNN算法实现对句子分类+进行情感分析(预测句子情感)
  3. 《极速切水果游戏》有Python版了,曾风靡一时的手游能否富过“二代”?
  4. 15、【 商品管理模块开发】——后台获取商品详情功能开发及PropertiesUtil配置工具,DateTimeUtil时间处理工具开发...
  5. VLAN基本通信原理
  6. 服务器硬盘raid5扩容,超实用,物理服务器RAID扩容详解
  7. 7.1.21 jQuery 的 Post请求
  8. instanceof java_Java中的instanceof关键字
  9. python读取图片转cvs_python将图片转换为csv
  10. android 控件xpath软件_请像用户使用软件一样,享受自动化测试~
  11. 常用windows系统的100个dos命令
  12. 电脑wifi密码查看
  13. 【英语学习】星期的词源
  14. IllegalStateException: Fragment already added
  15. Codeforces Problem-69A Young Physicist
  16. OriginPro8.5画双柱状图
  17. 48V LDO三端稳压IC 60v 100V 300V电源降压芯片系统解决方案
  18. 企业微信的审批申请状态变化回调通知api接口bug
  19. Excel表格输入长数字显示乱码不正常解决方法
  20. python数据的容器

热门文章

  1. c++在txt中每行写入数据和每行输出
  2. c语言或者cpp中位运算的技巧
  3. 爬取小说2--协程间通信Python
  4. dataframe的重设index
  5. 3.2.3 如何解决数据不匹配问题
  6. hourglass论文_DSSD(1)_论文_arxiv2017
  7. [BZOJ5249][九省联考2018]IIIDX(线段树)
  8. JS 实现图片的预加载(转载)
  9. [bzoj1934][Shoi2007]Vote 善意的投票
  10. Python内存数据库/引擎