OBS源码分析--视频采集显示

OBS如何进行初始化视频采集的：

首先，在OBS的初始化程序中，会调用ResetVideo==>AttemptToResetVideo==>obs_reset_video==>obs_init_video==>video_output_open==>if (pthread_create(&out->thread, NULL, video_thread, out) != 0)

最后创建了video_thread，我们看看video_thread线程的处理流程：

在video_thread中，一直等待update_semaphore后，这个信号应该是采集到视频图像后post出来的；

obs_video_thread==>output_frame==>output_video_data==>video_output_unlock_frame==>update_semaphore；

可以看到在obs_video_thread线程中，通知video_thread线程对采集的数据编码推流；

后面再分析具体分析下obs_video_thread线程，先看看win-dshow如何采集视频的：

首先在win-dshow.cpp中主要实现音视频采集功能：

通过UpdateVideoConfig中注册OnVideoData函数，UpdateVideoConfig在

device.cpp中，用dshow接口会调用HDevice::Receive接口将获取的音视频回调，

在device.cpp中，SetupVideoCapture，而在这个函数中会调用：

videoCapture = new CaptureFilter(info);

初始化一个采集过滤器，videoCapture对象中包含了一个pin的成员对象，该成员对象实现了Receive函数：

STDMETHODIMP CapturePin::Receive(IMediaSample *pSample)
{
if (flushing)
return S_FALSE;
if (pSample)
captureInfo.callback(pSample);
return S_OK;
}

在SetupVideoCapture中会调用下面语句注册接收回调：

info.callback = [this] (IMediaSample *s) {Receive(true, s);};

在device的Receive处理函数中，首先通过GetPointer获取到数据指针，然后调用GetTime获取数据的时间，再调用SendToCallback传到device的videoConfig.callback中处理，而videoConfig.callback是在UpdateVideoConfig中被注册的，后面再详细看这个接口如何被调用的；

好了，现在已经大概了解了流程了：

device.cpp中通过SetupVideoCapture注册回调，然后Receive回调中通过SendToCallback将采集的数据发送到videoConfig.callback中处理；

videoConfig.callback注册的其实是一个叫OnVideoData的回调函数：

在OnVideoData中调用obs_source_output_video(source, &frame);将采集的数据传到DShowInput的source的async_cache和async_frames中；

然后source->async_active = true;将异步队列置为活跃状态；

好了，数据已经采集，并放到队列里面了，下面怎么送去显示，编码呢？

obs-source.c中，有两个关键函数：

get_closest_frame

obs_source_get_frame

及一个关键变量：

cur_async_frame

在win-dshow中将采集到的音视频数据存入source的async_frames中后，通过obs_video_thread线程，每隔一段时间调用get_closest_frame从source的

async_frames中获取到最近的帧，然后放到source的cur_async_frame指针中，obs_source_get_frame函数就是获取cur_async_frame返回；

obs_source_get_frame被obs_source_update_async_video调用；

在obs_source_update_async_video中，会先给帧加上滤镜特效（filter_async_video），然后

set_async_texture_size函数好像是执行绘画系统的初始化，接着update_async_texture中调用update_async_texrender进行图像绘制，

update_async_texrender会调用upload_raw_frame和gs_texture_set_image设置好绘制的图像信息，后面的绘制详细过程，需要了解d3d11及opengl，这里后面再研究吧；

通过查看update_async_texture调用的位置可以发现，其实source结构中还包含了绘制结构描述，async_texture和async_texrender；

我们回过头来看obs_source_update_async_video函数，它是在render_video中被调用的，而render_video的参数只有一个source，该函数应该就是负责数据源的绘制的；

而render_video在output_frame中被调用，如上面分析output_frame也在obs_video_thread中被调用；

现在再回头捋一捋obs_video_thread的流程：

1、调用tick_sources获取捕获的视频帧cur_async_frame；

2、调用render_display进行绘制，通过一系列回调（通过obs_display_add_draw_callback加入display中），最终绘制时在render_video函数中执行；

3、调用output_frame，通过output_video_data告知video_thread新数据到来；

video_thread线程中：

1、等到数据到来，最终调用receive_video函数进行编码，receive_video中调用do_encode对数据进行编码，然后在do_encode中还调用send_packet对数据执行发送；

OBS源码分析--视频采集显示相关推荐

obs源码分析【一】：main函数
目录 main函数在哪里 obs项目架构 main函数浅析 crash的处理 obs配置 obs log 网络请求libcurl 主界面 Qt适配高dpi屏幕总结最近对obs的代码感兴趣了,在 ...
linux显示启动logo源码分析以及修改显示logo
1.linux显示启动logo整个流程分析 (1)logo图片在内核源码中是以ppm格式的文件保存,在编译内核时会把ppm格式的文件自动转换成.c文件,在c文件中会构造一个struct linux_l ...
obs源码分析【五】：音频采集线程
在第三篇介绍了视频的线程,音频的线程代码也是在那一块儿: if (!ResetAudio())throw "Failed to initialize audio"; 音频线 ...
WebRTC源码分析——视频流水线建立
由于文章在有道云笔记中写的,粘贴复制到简书很多图片没法一次性上传上,偷懒,想看图片的可以看下面笔记的链接: 文档:WebRTC视频流水线建立.note 1. 引言常见的音视频会话中,一端将本地的音视 ...
WebRTC源码分析——视频流水线建立（上）
1.引言常见的音视频会话中,一端将本地的音视频数据传输给对端将至少经历3个步骤:采集->编码->传输,将数据从采集模块到发送模块的流动称为音视频数据的流水线.接下来几篇文章中将以视频数据 ...
ijkplayer源码分析视频向音频同步
本系列如下: 视频渲染流程音频播放流程 read线程流程音频解码流程视频解码流程视频向音频同步 start流程和buffering缓冲策略本文是流程分析的第六篇,分析ijkPlayer中的音 ...
obs源码分析【八】：显示器采集
obs的视屏录制主要分3种: 窗口采集:采集应用程序窗口显示器采集:也叫全屏采集,可以采集整个屏幕,当有多个显示器时,可以设置采集其中一个显示器游戏采集:可以采集游戏窗口在plugin- ...
ijkplayer源码分析视频渲染流程
前言本系列如下: 整体概述视频渲染流程音频播放流程 read线程流程音频解码流程视频解码流程视频向音频同步 start流程和buffering缓冲策略本文是流程分析的第一篇,分析ijkP ...
filebeat源码分析之采集
上面说到是启动,下面接着说日志采集回到启动的地方filebeat/prospector/prospector.go. func (p *Prospector) Run() {// 初始化 prospe ...

OBS源码分析--视频采集显示

OBS源码分析--视频采集显示相关推荐

最新文章

热门文章