FFmpeg+OpenCV 读取摄像头

提供两种方式使用 FFmpeg 从摄像头中读取数据，并使用 OpenCV 显示视频帧。

读取摄像头

方法一

void VideoCapture() {avdevice_register_all();AVFormatContext *context = avformat_alloc_context();AVInputFormat *inputFormat = av_find_input_format("dshow");// 这里的 video=Logitech Webcam C930e 需要填写你自己的摄像头信息// 可以在终端下使用 ffmpeg -list_devices true -f dshow -i dummy 查看avformat_open_input(&context, "video=Logitech Webcam C930e", inputFormat, nullptr);int video_index = av_find_best_stream(context, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);if (video_index == -1) {printf("Could not find a video stream");avformat_close_input(&context);return;}// 获取流参数AVCodecParameters *params = context->streams[video_index]->codecpar;// 获取解码器AVCodec *codec = avcodec_find_decoder(params->codec_id);// 初始化一个解码器的上下文AVCodecContext *codecContext = avcodec_alloc_context3(codec);if (avcodec_parameters_to_context(codecContext, params) != 0) {printf("Could not copy codec context");avformat_close_input(&context);return;}avcodec_open2(codecContext, codec, nullptr);AVFrame *frame = av_frame_alloc();AVFrame *frameYUV = av_frame_alloc();int width = codecContext->width;int height = codecContext->height;// 声明图像的空间用以保存 YUV 图像auto* out_buffer = (unsigned char*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, width, height, 1));av_image_fill_arrays(frameYUV->data, frameYUV->linesize, (const uint8_t*)out_buffer,AV_PIX_FMT_YUV420P, width, height, 1);AVPacket packet;struct SwsContext *swsContext;swsContext = sws_getContext(width, height, codecContext->pix_fmt,width, height, AV_PIX_FMT_YUV420P, SWS_BICUBIC,nullptr, nullptr, nullptr);while (av_read_frame(context, &packet) >= 0) {if (packet.stream_index == video_index) {avcodec_send_packet(codecContext, &packet);while (avcodec_receive_frame(codecContext, frame) == 0) {// 将解码后的图片转换为 YUV 格式sws_scale(swsContext, (const unsigned char* const *)frame->data, frame->linesize, 0,height, frameYUV->data, frameYUV->linesize);int size = width * height;// FFmpeg frame 转换为 OpenCV Matcv::Mat img = cv::Mat::zeros(height * 3 / 2, width, CV_8UC1);memcpy(img.data, frameYUV->data[0], size);memcpy(img.data + width * height, frameYUV->data[1], size / 4);memcpy(img.data + width * height * 5 / 4, frameYUV->data[2], size / 4);cv::cvtColor(img, img, CV_YUV2BGR_I420);cv::imshow("__main__", img);cv::waitKey(1);}}av_packet_unref(&packet);}// 释放资源av_frame_free(&frame);avcodec_close(codecContext);avcodec_parameters_free(&params);avformat_close_input(&context);
}

方法二

void VideoCapture() {AVFormatContext *context = avformat_alloc_context();AVInputFormat *inputFormat = av_find_input_format("dshow");avformat_open_input(&context, "video=Logitech Webcam C930e", inputFormat, nullptr);int video_index = av_find_best_stream(context, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);if (video_index == -1) {printf("Could not find a video stream");avformat_close_input(&context);return;}// 获取流参数AVCodecParameters *params = context->streams[video_index]->codecpar;// 获取解码器AVCodec *codec = avcodec_find_decoder(params->codec_id);// 初始化一个解码器的上下文AVCodecContext *codecContext = avcodec_alloc_context3(codec);if (avcodec_parameters_to_context(codecContext, params) != 0) {printf("Could not copy codec context");avformat_close_input(&context);return;}avcodec_open2(codecContext, codec, nullptr);AVFrame *frame = av_frame_alloc();int width = codecContext->width;int height = codecContext->height;AVPacket packet;while (av_read_frame(context, &packet) >= 0) {if (packet.stream_index == video_index) {avcodec_send_packet(codecContext, &packet);while (avcodec_receive_frame(codecContext, frame) == 0) {// AVFrameToCVMat 的实现可以看下方 FFmpeg 转为 Mat 中的代码cv::Mat img(AVFrameToCVMat(frame));cv::imshow("__main__", img);cv::waitKey(1);}}av_packet_unref(&packet);}av_frame_free(&frame);avcodec_close(codecContext);avcodec_parameters_free(&params);avformat_close_input(&context);
}

FFmpeg frame 转换为 OpenCV Mat

方法一

AVFrame* frameYUV;
/**
*   ... 处理 YUV 格式的 AVFrame
*/
cv::Mat img = cv::Mat::zeros(height * 3 / 2, width, CV_8UC1);
memcpy(img.data, frameYUV->data[0], size);
memcpy(img.data + width * height, frameYUV->data[1], size / 4);
memcpy(img.data + width * height * 5 / 4, frameYUV->data[2], size / 4);

方法二

转载自 https://zhuanlan.zhihu.com/p/80350418

cv::Mat AVFrameToCVMat(const AVFrame* frame) {int width = frame->width;int height = frame->height;cv::Mat image(height, width, CV_8UC3);int cv_lines_sizes[1];cv_lines_sizes[0] = image.step1();SwsContext* conversion = sws_getContext(width, height, (AVPixelFormat)frame->format,width, height, AV_PIX_FMT_BGR24, SWS_FAST_BILINEAR,nullptr, nullptr, nullptr);sws_scale(conversion, frame->data, frame->linesize, 0, height, &image.data, cv_lines_sizes);sws_freeContext(conversion);return image;
}

声明一个 YUV 图像的空间

声明一个 YUV 图像的空间，该空间用作将读取的视频帧转换为 YUV 格式。如果没有这个空间会显示 bad dst image pointer。

 // 声明图像的空间用以保存 YUV 图像auto* out_buffer = (unsigned char*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, width, height, 1));av_image_fill_arrays(frameYUV->data, frameYUV->linesize, (const uint8_t*)out_buffer,AV_PIX_FMT_YUV420P, width, height, 1);

显示效果

FFmpeg+OpenCV 读取摄像头相关推荐

关于opencv读取摄像头的未解之谜
前段时间做项目需要用opencv读usb摄像头的视频数据,遇到很多无解的问题,虽然后来没有用到,但是还是记录下来,也许以后就知道答案了呢. 1.无论摄像头的实际分辨率是多少,opencv读进来的视频分 ...
opencv读取摄像头数据有黑边
opencv读取摄像头,发现有黑边 #ifdef WIN32cv::VideoCapture capture(mCameraIndex,cv::CAP_DSHOW); #elsecv::VideoCa ...
Qt+OpenCV读取摄像头视频、本地视频、网络视频流Demo
Qt+OpenCV读取摄像头视频.本地视频.网络视频流Demo
android opencv卡顿,Opencv读取摄像头卡顿
Opencv读取摄像头卡顿开发环境:Win10系统,罗技HD1080p高清摄像头,UE4_21,VS2017后端开发原理:多线程中经过OpenCV对摄像头进行高清采集(1920*1080),而后显 ...
b g opencv读入的图片 r,OpenCV 读取摄像头并显示图像的R、G、B三个通道的直方图...
1.读取摄像头 2.从一副彩色图像中分离出R.G.B三个通道(cvSplit) 3. 分别对每个通道图像创建直方图,并显示源码如下: // Camera_Capture_Histogram.cpp ...
关于opencv读取摄像头1080P的测试
最近测试了一下opencv自带的函数读取高清摄像头,究竟能不能做到实时读取?我先是百度了一下,网上很多读取1080p的例子,好像是可以.所以用单位的摄像头做了一个测试,结果如下: 1 opencv读取 ...
树莓派摄像头读出来的数据是黑的！！（使用c++版qt5的opencv读取摄像头）
我难受了整整一周的问题,我把网上所有的博客都翻烂了,尝试了各种各样的方法,问了很多很多人,天天头疼欲裂,我必须得记录一下! 故事背景: 我本来使用了python版的qt 来读32位bullseye版本 ...
OpenCV读取摄像头，把摄像头的视频读取保存
一.读取摄像头 #include <opencv2\opencv.hpp> using namespace cv; using namespace std;int main() {//读取 ...
使用OpenCV读取摄像头图像并显示
使用OpenCV最基本的功能是可以获取到外部摄像头的图像,并且显示出来.这样在此基础上就可以做其他的基于实时视频流的程序了.基本的代码如下: //******************** //打开摄像 ...

FFmpeg+OpenCV 读取摄像头

FFmpeg+OpenCV 读取摄像头

读取摄像头

方法一

方法二

FFmpeg frame 转换为 OpenCV Mat

方法一

方法二

声明一个 YUV 图像的空间

显示效果

FFmpeg+OpenCV 读取摄像头相关推荐

最新文章

热门文章