V4L2视频采集与H264编码1—V4L2采集JPEG数据

最近在做视频编码，经过一段时间的折腾，终于可以把V4L2采集到的图片数据编码成H264视频，并且成功将工程移植到了ARM开发板上。无奈开发板性能太低，每秒钟只能编码一帧数据，查看CPU已经跑到100%，计划换另外一种编码方式，先把遇到的问题和开发过程记录下来，做个备忘，也可以给大家一个参考。

我的整个开发流程是：

(1)通过V4L2采集摄像头数据，保存成图片

(2)通过V4l2采集摄像头数据，保存成yuv视频

(3)下载编译X264库，将该库移植到ARM开发板

(4)通过V4L2采集摄像头YUV数据，调用X264库将数据编码成H264视频

在整个开发过程中，不少代码是参考网上资料，自己也做了不少的优化处理。

首先就是V4L2数据采集，确保linux的驱动和摄像头是可以正常工作的。V4L2编程的一般流程是：

我一般是先在PC机上测试代码，代码没有问题之后再移植到ARM开发板上，这样可以保证应用层的代码没有没有问题，如果出问题，那就是开发板驱动的问题比较大。下面直接上代码。我在PC机上使用的是中星微的USB摄像头，在我的PC机上，它只支持JPEG格式。代码如下：

/*=============================================================================
#     FileName: v4l2.c
#         Desc: this program aim to get image from USB camera,
#               used the V4L2 interface.
#       Author: Licaibiao
#      Version:
#   LastChange: 2016-12-10
#      History:=============================================================================*/
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdio.h>
#include <sys/ioctl.h>
#include <stdlib.h>
#include <linux/types.h>
#include <linux/videodev2.h>
#include <malloc.h>
#include <math.h>
#include <string.h>
#include <sys/mman.h>
#include <errno.h>
#include <assert.h>#define FILE_VIDEO  "/dev/video0"
#define JPG "./out/image%d.jpg"typedef struct{void *start;int length;
}BUFTYPE;BUFTYPE *usr_buf;
static unsigned int n_buffer = 0;/*set video capture ways(mmap)*/
int init_mmap(int fd)
{/*to request frame cache, contain requested counts*/struct v4l2_requestbuffers reqbufs;memset(&reqbufs, 0, sizeof(reqbufs));reqbufs.count = 1;                                /*the number of buffer*/reqbufs.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;    reqbufs.memory = V4L2_MEMORY_MMAP;             if(-1 == ioctl(fd,VIDIOC_REQBUFS,&reqbufs)){perror("Fail to ioctl 'VIDIOC_REQBUFS'");exit(EXIT_FAILURE);}n_buffer = reqbufs.count;printf("n_buffer = %d\n", n_buffer);//usr_buf = calloc(reqbufs.count, sizeof(usr_buf));usr_buf = calloc(reqbufs.count, sizeof(BUFTYPE));/*** (4) ***/if(usr_buf == NULL){printf("Out of memory\n");exit(-1);}/*map kernel cache to user process*/for(n_buffer = 0; n_buffer < reqbufs.count; ++n_buffer){//stand for a framestruct v4l2_buffer buf;memset(&buf, 0, sizeof(buf));buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;buf.memory = V4L2_MEMORY_MMAP;buf.index = n_buffer;/*check the information of the kernel cache requested*/if(-1 == ioctl(fd,VIDIOC_QUERYBUF,&buf)){perror("Fail to ioctl : VIDIOC_QUERYBUF");exit(EXIT_FAILURE);}usr_buf[n_buffer].length = buf.length;usr_buf[n_buffer].start = (char *)mmap(NULL,buf.length,PROT_READ | PROT_WRITE,MAP_PRIVATE, fd,buf.m.offset);if(MAP_FAILED == usr_buf[n_buffer].start){perror("Fail to mmap");exit(EXIT_FAILURE);}}}int open_camera(void)
{int fd;/*open video device with block */fd = open(FILE_VIDEO, O_RDONLY);if(fd < 0){    fprintf(stderr, "%s open err \n", FILE_VIDEO);exit(EXIT_FAILURE);};return fd;
}int init_camera(int fd)
{struct v4l2_capability     cap;    /* decive fuction, such as video input */struct v4l2_format         tv_fmt; /* frame format */  struct v4l2_fmtdesc     fmtdesc;    /* detail control value */struct v4l2_control   ctrl;int ret;/*show all the support format*/memset(&fmtdesc, 0, sizeof(fmtdesc));fmtdesc.index = 0 ;                 /* the number to check */fmtdesc.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;/* check video decive driver capability */if(ret=ioctl(fd, VIDIOC_QUERYCAP, &cap)<0){fprintf(stderr, "fail to ioctl VIDEO_QUERYCAP \n");exit(EXIT_FAILURE);}/*judge wherher or not to be a video-get device*/if(!(cap.capabilities & V4L2_BUF_TYPE_VIDEO_CAPTURE)){fprintf(stderr, "The Current device is not a video capture device \n");exit(EXIT_FAILURE);}/*judge whether or not to supply the form of video stream*/if(!(cap.capabilities & V4L2_CAP_STREAMING)){printf("The Current device does not support streaming i/o\n");exit(EXIT_FAILURE);}printf("\ncamera driver name is : %s\n",cap.driver);printf("camera device name is : %s\n",cap.card);printf("camera bus information: %s\n",cap.bus_info);/*display the format device support*/while(ioctl(fd,VIDIOC_ENUM_FMT,&fmtdesc)!=-1){   printf("\nsupport device %d.%s\n\n",fmtdesc.index+1,fmtdesc.description);fmtdesc.index++;}/*set the form of camera capture data*/tv_fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;      /*v4l2_buf_typea,camera must use V4L2_BUF_TYPE_VIDEO_CAPTURE*/tv_fmt.fmt.pix.width = 640;tv_fmt.fmt.pix.height = 480;tv_fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_JPEG;  /*V4L2_PIX_FMT_YYUV*/tv_fmt.fmt.pix.field = V4L2_FIELD_NONE;           /*V4L2_FIELD_NONE*/if (ioctl(fd, VIDIOC_S_FMT, &tv_fmt)< 0) {fprintf(stderr,"VIDIOC_S_FMT set err\n");exit(-1);close(fd);}init_mmap(fd);
}int start_capture(int fd)
{unsigned int i;enum v4l2_buf_type type;/*place the kernel cache to a queue*/for(i = 0; i < n_buffer; i++){struct v4l2_buffer buf;memset(&buf, 0, sizeof(buf));buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;buf.memory = V4L2_MEMORY_MMAP;buf.index = i;if(-1 == ioctl(fd, VIDIOC_QBUF, &buf)){perror("Fail to ioctl 'VIDIOC_QBUF'");exit(EXIT_FAILURE);}}type = V4L2_BUF_TYPE_VIDEO_CAPTURE;if(-1 == ioctl(fd, VIDIOC_STREAMON, &type)){printf("i=%d.\n", i);perror("VIDIOC_STREAMON");close(fd);exit(EXIT_FAILURE);}return 0;
}int process_image(void *addr, int length)
{FILE *fp;static int num = 0;char image_name[20];sprintf(image_name, JPG, num++);if((fp = fopen(image_name, "w")) == NULL){perror("Fail to fopen");exit(EXIT_FAILURE);}fwrite(addr, length, 1, fp);usleep(500);fclose(fp);return 0;
}int read_frame(int fd)
{struct v4l2_buffer buf;unsigned int i;memset(&buf, 0, sizeof(buf));buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;buf.memory = V4L2_MEMORY_MMAP;//put cache from queueif(-1 == ioctl(fd, VIDIOC_DQBUF,&buf)){perror("Fail to ioctl 'VIDIOC_DQBUF'");exit(EXIT_FAILURE);}assert(buf.index < n_buffer);//read process space's data to a fileprocess_image(usr_buf[buf.index].start, usr_buf[buf.index].length);if(-1 == ioctl(fd, VIDIOC_QBUF,&buf)){perror("Fail to ioctl 'VIDIOC_QBUF'");exit(EXIT_FAILURE);}return 1;
}int mainloop(int fd)
{int count = 10;while(count-- > 0){for(;;){fd_set fds;struct timeval tv;int r;FD_ZERO(&fds);FD_SET(fd,&fds);/*Timeout*/tv.tv_sec = 2;tv.tv_usec = 0;r = select(fd + 1,&fds,NULL,NULL,&tv);if(-1 == r){if(EINTR == errno)continue;perror("Fail to select");exit(EXIT_FAILURE);}if(0 == r){fprintf(stderr,"select Timeout\n");exit(-1);}if(read_frame(fd))break;}}return 0;
}void stop_capture(int fd)
{enum v4l2_buf_type type;type = V4L2_BUF_TYPE_VIDEO_CAPTURE;if(-1 == ioctl(fd,VIDIOC_STREAMOFF,&type)){perror("Fail to ioctl 'VIDIOC_STREAMOFF'");exit(EXIT_FAILURE);}
}void close_camera_device(int fd)
{unsigned int i;for(i = 0;i < n_buffer; i++){if(-1 == munmap(usr_buf[i].start,usr_buf[i].length)){exit(-1);}}free(usr_buf);if(-1 == close(fd)){perror("Fail to close fd");exit(EXIT_FAILURE);}
}void main(void)
{int fd;fd = open_camera();init_camera(fd);start_capture(fd);mainloop(fd);stop_capture(fd);close_camera_device(fd);
}

程序编译运行结果如下：

root@ubuntu:/home/share/v4l2_test# gcc v4l2.c -o v4l2_test
root@ubuntu:/home/share/v4l2_test# ./v4l2_test camera driver name is : gspca_zc3xx
camera device name is : PC Camera
camera bus information: usb-0000:02:00.0-2.1support device 1.JPEGn_buffer = 1
root@ubuntu:/home/share/v4l2_test# ls
out   v4l2.c  v4l2_test
root@ubuntu:/home/share/v4l2_test# cd out/
root@ubuntu:/home/share/v4l2_test/out# ls
image0.jpg  image1.jpg  image2.jpg  image3.jpg  image4.jpg  image5.jpg  image6.jpg  image7.jpg  image8.jpg  image9.jpg
root@ubuntu:/home/share/v4l2_test/out#
root@ubuntu:/home/share/v4l2_test/out#

从运行的结果中我们可以看到摄像头的驱动名字是：gspca_zc3xx，摄像头产家起的名字是：PC Camera，总线是usb-0000:02:00.0-2.1，该摄像头支持的image 格式只有JPEG。这里需要注意：

(1)在初始化摄像头函数init_camera 里面的tv_fmt.fmt.pix.pixelformat 参数一定是需要该摄像头所支持的。

(2)变量 tv_fmt.fmt.pix.field 是摄像头field的设置，如果设置不正确会出现花屏的现象。field 理解可以参考kickxxx的：field理解

(3)我这里采用了内存映射mmap, mmap的失败与camera的打开方式有关。我在PC机上，camera以阻塞方式打开，在内存映射的时候，mmap 的flag 参数需要填写MAP_PRIVATE，但是我在开发板上时，flag只能是MAP_SHARED，这个时候，我的camera只能是以O_NONBLOCK非阻塞方式打开，具体的原因有待研究。

(4)上面的代码，如果reqbufs.count 的值设置大于1的话，编码的时候，编出来的图片有一些是空的，如果是设置为1就不会出现这个问题。这个有待研究。(该问题已经定位到，并且已更新上面的代码，详见一个sizeof引发的内存越界)

最后，打开保存的图片就是个人的自拍照了，从师弟那拿的一个摄像头，不知道像素是多少，拍的照片噪点多多，清晰度差。

本文参考文档：

http://blog.csdn.net/zgyulongfei/article/details/7526249

http://www.cnblogs.com/emouse/archive/2013/03/04/2943243.html

V4L2视频采集与H264编码1—V4L2采集JPEG数据相关推荐

V4L2视频采集与H264编码2—v4l2采集YUV数据
在上一篇中因为是在PC机上使用的USB摄像头只能支持GPEG image格式,但是H264编码需要使用YUV数据,所以我找了个ARM开发板来做测试.本以为代码从PC机移植到开发板是很简单的一个事,谁知 ...
采集音频和摄像头视频并实时H264编码及AAC编码
0. 前言我在前两篇文章中写了DirectShow捕获音视频然后生成avi,再进行264编码的方法.那种方法有一些局限性,不适合实时性质的应用,如:视频会议.视频聊天.视频监控等.本文所使用的技术, ...
采集音频和摄像头视频并实时H264编码及AAC编码[转]
0. 前言我在前两篇文章中写了DirectShow捕获音视频然后生成avi,再进行264编码的方法.那种方法有一些局限性,不适合实时性质的应用,如:视频会议.视频聊天.视频监控等.本文所使用的技术, ...
音视频开发系列-H264编码原理
H264简介来自百度百科的介绍: H.264是国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的继MPEG4之后的新一代数字视频压缩格式. H.264是ITU-T以H.26x系列为名称命名的 ...
opencv录制视频 python_Python-OpenCV录制H264编码的MP4视频
前言因最近项目需求涉及计算机视觉相关内容,需要实现在Python录制视频,并且录制完成后可在浏览器前端中进行视频回放的功能:特写下此篇文章以记录整体实现过程. 2019-08-02 更新之前一直在 ...
基于Linux视频驱动接口V4L2视频采集编程
视频采集基本步骤流程如下: 打开视频设备,设置视频设备属性及采集方式.视频数据处理,关闭视频设备,如下图所示: 一.打开视频设备打开视频设备非常简单,在V4L2中,视频设备被看做一个文件.使用ope ...
音视频学习之 - H264解码
解码流程解析数据 (SPS PPS NALU Unit) 初始化解码器将解析后的H264 NALU Unit输入到解码器解码完成后回调,输出解码数据解码数据显示(OpenGL ES) 解析数据 ...
嵌入式监控【v4l2采集-＞vpu编码-＞live555推流】
嵌入式监控[v4l2采集->vpu编码->live555推流] 文章目录嵌入式监控[v4l2采集->vpu编码->live555推流] 介绍数据流图一.v4l2 1.1 ...
使用ffmpeg以v4l2输入打开相机进行h264编码
网上有很多关于ffmpeg打开输入流的博客,雷神的博客仅在windows下介绍了如何通过dshow打开摄像头,有关linux使用video4linux2(v4l2)方式的较少,也不全面. 本文以树莓派 ...

V4L2视频采集与H264编码1—V4L2采集JPEG数据

V4L2视频采集与H264编码1—V4L2采集JPEG数据相关推荐

最新文章

热门文章