ONVIF、RTSP/RTP、FFMPEG的开发实录

前言

    本文从零基础一步步实现ONVIF协议、RTSP/RTP协议获取IPC实时视频流、FFMPEG解码。开发环境为WIN7 32位 + VS2010。最终成功获取浩云、海康、大华的IPC实时视频流。如果要了解本文更多细节，或者用本文作设计指导，那最好把文中提到的连接都打开，与本文对照着看。

前期准备

1.准备一个ONVIF服务器既然开发的是客户端，那必需要有服务端了。我这里大把的IPC，好几个品牌的，就随便拿了一个。如果没有IPC，倒是可以用 VLC media player 搭建一下。或者其他播放器也可以。这个网上很多资料。2.准备一个ONVIF 测试工具这个工具在ONVIF的官网上可以找到：ONVIF Device Test Tool 。3.准备解码器相关资料及资源收到视频流后，需要解码。可以用ffmpeg，也可以用其他解码库。这个是后话了，等ONVIF搞定之后再搞解码也不迟。推荐链接：http://wenku.baidu.com/view/f8c94355c281e53a5802ffe4.html?re=view (Windows下使用MinGW编译ffmpeg与x265)4.准备资料ONVIF协议书必看，ONVIF官网自然是不能少的。其他资料推荐几个链接：
http://www.cuplayer.com/player/PlayerCode/camera/2015/1119/2156.html
http://blog.csdn.net/gubenpeiyuan/article/details/25618177#
http://blog.csdn.net/saloon_yuan/article/details/24901597
http://www.onvif.org/onvif/ver20/util/operationIndex.html5.准备抓包工具IPAnalyse关系到网络通信的有个IP抓包工具能让你省去很多麻烦，也能让你清楚的看到协议的细节。IPAnalyse很容易在网上可以下载。

测试ONVIF

    看《ONVIF协议书》估计很多人都会云里雾里，实在搞不懂的话，那就接上IPC，打开 Test Tool，测试一下各项功能。Test Tool里可以看到整个协议的工作细节，每一步做什么，发了什么报文，收了什么报文，都可以看到。


    如果你没有IPC，那用VLC理论上也可以，不过我没测试过。两个VLC(一个作为服务器一个作为客户端)加上IP抓包工具，这个我用过也可以看到协议细节。不过从抓包工具里看到的只是一段段的报文，没有步骤说明，不如Test tool来得明了。当然，如果你看懂了ONVIF协议，那就不必搞这些。

Soap及开发框架生成

    本人一开始并没有听过soap，只好自已查资料去了，这里也不班门弄斧。这个开发框架生成网上大把大把的资料，但系都不好使啊。每个人的开发环境都有一点点差别，以至于很多文章都不能从头至尾的跟着走一次。唯有看比较多的文章再总结一下，才能自己生成一个框架。所以我这里也不多说了，推荐链接：

E.http://blog.csdn.net/saloon_yuan/article/details/24901597

当然也可以不用框架。如你所见，ONVIF的实现最终不过是发送报文和接收报文，用到的功能不多的话完全可以自己手动发报文过去，再解析接收到的报文。

后面也会说到不用框架来发现设备。

ONVIF设备发现、设备搜索

    设备发现的过程：客户端发送报文到239.255.255.250的3702端口(ONVIF协议规定)，服务器收到报文后再向客户端返回一个报文，客户端收到这个报文然后解析出Xaddrs，这就完成了一次设备发现。理论上只要报文能正确收发就可以发现设备。不过，用soap框架搜索设备的时候，多网卡、跨网段等复杂网络会出现搜索不到的问题。这时候就需要路由支持才行(网上说可以加入相关的路由协议)。为了解决这个问题，自己又写了一个非SOAP框架的设备发现函数。两个发现函数请看下面代码。

/*SOAP初始化
*/
int UserInitSoap(struct soap *soap,struct SOAP_ENV__Header  *header)
{   if(soap == NULL){return NULL;}//命名空间soap_set_namespaces( soap, namespaces);//参数设置int timeout = 5 ;soap->recv_timeout      =  timeout ;soap->send_timeout      =  timeout ;soap->connect_timeout   =  timeout ;// 生成GUID , Linux下叫UUIDchar buf[128];GUID guid; if(CoCreateGuid(&guid)==S_OK){_snprintf_s(buf, sizeof(buf) ,"urn:uuid:%08X-%04X-%04x-%02X%02X-%02X%02X%02X%02X%02X%02X", guid.Data1   , guid.Data2   , guid.Data3, guid.Data4[0], guid.Data4[1], guid.Data4[2], guid.Data4[3], guid.Data4[4],guid.Data4[5], guid.Data4[6], guid.Data4[7] );}else{_snprintf_s(buf, sizeof(buf),"a5e4fffc-ebb3-4e9e-913e-7eecdf0b05e8");}//初始化soap_default_SOAP_ENV__Header(soap, header);//相关参数写入句柄header->wsa__MessageID =(char *)soap_malloc(soap,128);memset(header->wsa__MessageID, 0, 128);memcpy(header->wsa__MessageID, buf, strlen(buf));header->wsa__Action = "http://schemas.xmlsoap.org/ws/2005/04/discovery/Probe"; header->wsa__To     = "urn:schemas-xmlsoap-org:ws:2005:04:discovery";//写入变量soap->header = header;return 0 ;
}
    SOAP里所有要申请的空间请用带有soap_XXX()的，否则不能通过soap_del(soap);来释放所有空间。这会造成内存泄漏。

/*SOAP释放
*/
int UserReleaseSoap(struct soap *soap)
{//soap_free(soap);soap_destroy(soap); soap_end(soap); soap_done(soap);soap_del(soap);/*The gSOAP engine uses a memory management method to allocate and deallocate memory. The deallocation is performed with soap_destroy() followed by soap_end(). However, when you compile with -DDEBUG or -DSOAP_MEM_DEBUG then no memory is released until soap_done() is invoked. This ensures that the gSOAP engine can track all malloced data to verify leaks and double frees in debug mode. Use -DSOAP_DEBUG to use the normal debugging facilities without memory debugging. Note that some compilers have DEBUG enabled in the debug configuration, so this behavior should be expected unless you compile in release config*/return 0 ;
}
    以下这里有用到类，其中IP为要发现设备IP，XAddrs为设备的端地址。要复制这段代码的，请自行修改。

int GetVideo::FindONVIFservers()
{//清除错误this->error = 0 ;memset(this->error_info , 0, 1024);memset(this->error_info_, 0, 1024);int FoundDevNo = 0;     //发现的设备数int retval = SOAP_OK;   //返回值struct __wsdd__ProbeMatches  resp;struct SOAP_ENV__Header  header;struct soap*  soap;soap = soap_new();UserInitSoap(soap,&header);//send the message broadcast and wait//IP Adress and PortNo, broadCast   const char *soap_endpoint = "soap.udp://239.255.255.250:3702/"; //从ONVIF协议得来//范围相关参数wsdd__ProbeType  req;    wsdd__ScopesType  sScope;soap_default_wsdd__ScopesType(soap, &sScope);sScope.__item = "";//"http://www.onvif.org/??"soap_default_wsdd__ProbeType(soap, &req);req.Scopes = &sScope;req.Types = ""; //"dn:NetworkVideoTransmitter";/////发送10次，直到成功为止int time=10;do{retval = soap_send___wsdd__Probe(soap, soap_endpoint, NULL, &req);Sleep(100);}while(retval != SOAP_OK && time--);//一直接收，直到收到当前IP的信息后退出，或收不到当前IP但所有已接收完退出while (retval == SOAP_OK){retval = soap_recv___wsdd__ProbeMatches(soap, &resp);//printf("\nrecv retval = %d \n",retval);if (retval == SOAP_OK) {if (!soap->error){ FoundDevNo ++;  //找到一个设备if (resp.wsdd__ProbeMatches->ProbeMatch != NULL && resp.wsdd__ProbeMatches->ProbeMatch->XAddrs != NULL){//判断IP是否是你想要找的IPchar *http = strstr(resp.wsdd__ProbeMatches->ProbeMatch->XAddrs, this->IP );if(http!=NULL){//得到XAddrs(这里认为不超过256)//因为有些设备有多个XAddrs，这里要分离出一个memcpy(this->XAddrs,"http://",7);   for(int t=0;t<255-7;t++){   if(http[t]==' ' || http[t]=='\n' || http[t]=='\r'|| http[t]=='\0' ){retval = 1234 ; //退出whilebreak;}this->XAddrs[t+7] = http[t] ;}}//end if(http!=NULL)}}else{retval = soap->error;   //退出whilethis->error = soap->error ; //错误代码const char *tmp  = *soap_faultcode(soap)   ;    //错误信息if(tmp)memcpy(error_info , tmp , strlen(tmp ));    //复制到类const char *tmp_ = *soap_faultstring(soap) ;if(tmp_)memcpy(error_info_, tmp_, strlen(tmp_));}}else if (soap->error){  //搜索完所有设备if (FoundDevNo){soap->error = 0 ;retval = 0;}else {retval = soap->error; }break; //退出while}  #ifdef DEBUG_INFOPRINTif (retval == SOAP_OK) {if (!soap->error){ //找到一个设备//打印相关信息if (resp.wsdd__ProbeMatches->ProbeMatch != NULL && resp.wsdd__ProbeMatches->ProbeMatch->XAddrs != NULL){printf("****** No %d Devices Information ******\n", FoundDevNo );printf("Device Service Address  : %s\r\n", resp.wsdd__ProbeMatches->ProbeMatch->XAddrs);    printf("Device EP Address       : %s\r\n", resp.wsdd__ProbeMatches->ProbeMatch->wsa__EndpointReference.Address);  printf("Device Type             : %s\r\n", resp.wsdd__ProbeMatches->ProbeMatch->Types);  printf("Device Metadata Version : %d\r\n", resp.wsdd__ProbeMatches->ProbeMatch->MetadataVersion);  //sleep(1);}}else{printf("[%d]: recv soap error :%d, %s, %s\n", __LINE__, soap->error, *soap_faultcode(soap), *soap_faultstring(soap)); }}else if (soap->error){  if (FoundDevNo){printf("Search end! Find %d Device! \n", FoundDevNo);}else {printf("No Device found!\n"); }break;}  #endif}//错误处理if(retval!=1234){this->error = NO_DEVICE ;memcpy(this->error_info_, "ONVIF:  this device NOT found\n", 128);char tmp[128];sprintf_s(tmp,128,"ONVIF:  found %d devices \n",FoundDevNo);memcpy(this->error_info, tmp, 128);}// 退出Sleep(10);UserReleaseSoap(soap);return retval;
}
    以上代码实现了整个设备发现的过程，最终得到设备的XAddrs。流程为：设置命名空间 >> 超时设置 >> 生成GUID >> 填充header >> 设置搜索范围 >> 发送报文 >> 接收并解析报文 。

非SOAP框架 设备发现

    以下代码也实现了事个发现过程，用到几个类变量：this->IP是要发现的设备IP，this->Port是其端口号，this->LocalIP是用来保存与设备IP同一网段的本地IP地址，this->FIND_BASE_UDP_PORT是用于连接设备的本地端口号(如果此端口号被占用，会自动加2查找下一个)。关于char *cxml 报文，最直接的方法是从Test tool里复制过来，或者从抓包工具里复制出来，当然也可以复制本文的。流程为：输入要发现的设备IP - 判断本地是否添加了此IP网段 - 测试设备是否可以连接 - 绑定本地IP - 准备报文 - 发送报文 - 接收报文 - 解析报文 。

/*获取本机IP
*/
bool GetLocalIPs(char ips[][32], int maxCnt, int *cnt)
{  //初始化wsa  WSADATA wsaData;  int ret=WSAStartup(0x0202,&wsaData);  if (ret!=0){  return false; }  //获取主机名  char hostname[256];  ret=gethostname(hostname,sizeof(hostname));  if (ret==SOCKET_ERROR){  return false; }  //获取主机ip  HOSTENT* host=gethostbyname(hostname);  if (host==NULL){  return false; }//转化为char*并拷贝返回  //注意这里，如果你本地IP多于32个就可能出问题了*cnt=host->h_length<maxCnt? host->h_length:maxCnt;  for (int i=0;i<*cnt;i++)  {  in_addr* addr =(in_addr*)*host->h_addr_list;  strcpy_s(ips[i], 16, inet_ntoa(addr[i]));  }  WSACleanup();return true;
}  /*TCP Online Test
*/
int TcpOnlineTest(char *IP,int Port)
{//加载库 //启动SOCKET库，版本为2.0 WSADATA wsdata;  WSAStartup(0x0202,&wsdata);  SOCKET PtcpFD=socket(AF_INET,SOCK_STREAM,0);SOCKADDR_IN addrSrv;addrSrv.sin_addr.S_un.S_addr=inet_addr(IP); //服务器端的地址addrSrv.sin_family=AF_INET;addrSrv.sin_port=htons(Port);               //服务器端的端口//connect(PtcpFD, (SOCKADDR*)&addrSrv, sizeof(SOCKADDR));   //会阻塞很久才反应过来//设置为非阻塞模式//这样，在connect时，才会立马跳过，不至于等太长时间int error = -1;    int len = sizeof(int);timeval tm;    fd_set set;    unsigned long ul = 1;    ioctlsocket(PtcpFD, FIONBIO, &ul); int err =connect(PtcpFD, (SOCKADDR*)&addrSrv, sizeof(SOCKADDR));if(err==-1){tm.tv_sec  = 3;        tm.tv_usec = 0;        FD_ZERO(&set);        FD_SET(PtcpFD, &set);        if( select(PtcpFD+1, NULL, &set, NULL, &tm) > 0){            getsockopt(PtcpFD, SOL_SOCKET, SO_ERROR, (char *)&error, /*(socklen_t *)*/&len); if(error == 0){ err = 0; }      else { err = -1; }   }        else { err = -1; }}//end if(err==-1)if(err==0){//设置为阻塞模式ul = 0;    ioctlsocket(PtcpFD, FIONBIO, &ul); char buf[16]={0};err = send(PtcpFD, buf, 16, 0); //Online Test if(err!=16){err = -1 ;  //此IP不在线，IP或Port有误}else{ err = 0 ; }}closesocket(PtcpFD);WSACleanup();return err;
}/*连接UDP返回： 0   -   成功-1  -   失败-2  -   绑定失败
*/
int UdpConnect(char *IP, int UdpPort, int *UdpFD)
{//加载库//启动SOCKET库，版本为2.0  WSADATA wsdata;  WSAStartup(0x0202,&wsdata);  //然后赋值  sockaddr_in  serv; serv.sin_family     =   AF_INET         ;  serv.sin_addr.s_addr=   inet_addr(IP)   ;   //INADDR_ANY ;  serv.sin_port       =   htons(UdpPort)  ;  //用UDP初始化套接字  *UdpFD = socket(AF_INET,SOCK_DGRAM,0); if(!(*UdpFD)){ return -1; }// 设置该套接字为广播类型，  bool optval =0 ;int res =0;//res =setsockopt(*UdpFD,SOL_SOCKET,SO_REUSEADDR,(char FAR *)&optval,sizeof(optval)); //时限int nNetTimeout=100;//m秒//setsockopt(PudpFD，SOL_S0CKET,SO_SNDTIMEO，(char *)&nNetTimeout,sizeof(int));res|= setsockopt(*UdpFD,SOL_SOCKET,SO_RCVTIMEO,(char *)&nNetTimeout,sizeof(int));// 缓冲区int nBuf=100*1024;//设置为xKres|= setsockopt(*UdpFD,SOL_SOCKET,SO_SNDBUF,(const char*)&nBuf,sizeof(int));res|= setsockopt(*UdpFD,SOL_SOCKET,SO_RCVBUF,(const char*)&nBuf,sizeof(int));if(res){ return -1; }// 把该套接字绑定在一个具体的地址上  !!!!!!! 注意这里 !!!!!!!// 这是与SOAP框架不同的地方，也是之所以可以跨网段的原因！res =bind(*UdpFD,(sockaddr *)&serv,sizeof(sockaddr_in));  if(res==-1){int errorcode =::GetLastError();return -2;}return 0 ;
}/*关闭UDP
*/
int UdpClose(int UdpFD)
{closesocket(UdpFD);WSACleanup();return 0 ;
}/*UDP SEND
*/
int UdpSend(int UdpFD,char*msg,int len)
{int ret =send(UdpFD, msg, len, 0 );return ret ;
}/*UDP SEND TO
*/
int UdpSendto(int UdpFD,char *msg, int len, char *toIP, int toPort)
{int tolen = sizeof(struct sockaddr_in);  sockaddr_in to;to.sin_family       =   AF_INET         ;  to.sin_addr.s_addr  =   inet_addr(toIP) ;   //INADDR_ANY ;  to.sin_port         =   htons(toPort)   ;  int ret =sendto(UdpFD, msg, len, 0, (const sockaddr *)&to, tolen);return ret ;
}/*UDP RECV from返回： -1  -   没有关键字段len -   nonSoap_XAddrs 空间不足,返回当前XAddrs长度
*/
int UdpRecvfrom(int UdpFD,char *fromIP,char *buf,int size)
{//参数配置sockaddr_in  afrom ;afrom.sin_family        =   AF_INET         ;  afrom.sin_addr.s_addr   =   INADDR_BROADCAST; //inet_addr(fromIP)   ; //INADDR_BROADCAST;  // afrom.sin_port            =   htons(fromPort) ;  //接收int fromlength = sizeof(SOCKADDR);  memset(buf, 0, size);int res =recvfrom(UdpFD,buf,size,0,(struct sockaddr FAR *)&afrom,(int FAR *)&fromlength);  //如果收到的不是指定的IP，将放弃//如果你要发现所有设备，这里需要修改if( res && (afrom.sin_addr.S_un.S_addr != inet_addr(fromIP)) ){//char *afIP =inet_ntoa(afrom.sin_addr); //only for debugres = 0 ;}return res ;
}/*得到参数，解析报文返回： 0   -   成功-1  -   失败>0  -   nonSoap_XAddrs空间不足
*/
int GetDiscoveryParam(char *buf,int size, char *MessageID, char *nonSoap_XAddrs,int xaddr_len)
{//规定搜索范围const char *type   = "NetworkVideoTransmitter";const char *Scopes = "www.onvif.org";//是否启用搜索范围int isUse_Type   = 0 ;int isUse_Scopes = 0 ;// typeif(isUse_Type){char *find_type =strstr(buf, type);if(find_type==NULL){return -1 ; //不是这个类型的不必解析}}// Scopesif(isUse_Type){char *find_Scopes =strstr(buf, Scopes);if(find_Scopes==NULL){return -1 ; //不是这个类型的不必解析}}// MessageIDchar *find_uuid =strstr(buf, MessageID);if(find_uuid==NULL){return -1 ; //MessageID不相等的，不是广播给你的，不必解析}// 找到XAddrs的开始和结束处const char *wsddXAddrs_b = "XAddrs>";//"<wsdd:XAddrs>";const char *wsddXAddrs_e = "</";//"</wsdd:XAddrs>";char *find_XAddrs_b =strstr(buf, wsddXAddrs_b);char *find_XAddrs_e =strstr(find_XAddrs_b, wsddXAddrs_e);if(find_XAddrs_b==NULL || wsddXAddrs_e==NULL){return -1 ;}//取出一个XAddrsint len_b = strlen(wsddXAddrs_b);               //找到的XAddrs字符串头长度int len = find_XAddrs_e -find_XAddrs_b -len_b;  //此区间里可能包含多个XAddrschar *tmp = new char[len+1];memset(tmp, 0, len+1);for(int i=0;i<len;i++){                     //分离出一个XAddrsif(find_XAddrs_b[len_b+i]!=' '){        //多个XAddrs用空格隔开tmp[i] = find_XAddrs_b[len_b+i] ;   //找到的字符串，除去开头}else{len = i ;   //len重新赋值为单个XAddrs长度break;}}// XAddrs 如果比申请空间要长 if(len>xaddr_len){return len ;}// 得到 XAddrs memset(nonSoap_XAddrs, 0, xaddr_len);memcpy(nonSoap_XAddrs, tmp, len);delete tmp ;return 0 ;
}/*非SOAP搜索返回： -4  -   本地没有添加设备对应的网段0   -   成功
*/
int GetVideo::FindONVIFservers_nonSoap()
{//清除错误this->error = 0 ;memset(this->error_info_, '\0',1024);memset(this->error_info,  '\0',1024);///得到设备网段int a,b,c,d;char IPD[32];sscanf_s(this->IP,"%d.%d.%d.%d",&a,&b,&c,&d);sprintf_s(IPD,32,"%d.%d.%d.",a,b,c);//本地是否已添加当前网段int isAddIPD = 0 ;char lips[64][32];char *UseIP;int cnt = 0 ;GetLocalIPs(lips, 64, &cnt);for(int i=0;i<cnt;i++){ //历遍所有本地IPisAddIPD = 0 ;UseIP = strstr(lips[i], IPD);if(UseIP!=NULL){    //已添加isAddIPD = 1 ;memcpy(this->LocalIP, UseIP, 64); //得到本地IPbreak;}}if(isAddIPD==0){this->error = NOTADDIP ;memcpy(this->error_info_, "没有添加该网段",32);memcpy(this->error_info,  "请先添加该网段",32);return -4;  //返回没有该网段}//测试设备IP:Port是否可以连接int isConnecting = TcpOnlineTest(this->IP, this->Port);if(isConnecting==-1){this->error = NOCONNECT ;memcpy(this->error_info_, "该IP/Port无法连接，请检查是否填写正确",128);memcpy(this->error_info,  "ONVIF:Discovery IP/Port error\n",128);return -1;}//绑定本地IP，连接UDPint Dis_UdpFD = 0 ;int UsePort = this->FIND_BASE_UDP_PORT ;    //使用预定的端口，向下查找合适端口int res =0;for(int i=0;i<512;i++){ //查找一定次数res =UdpConnect(UseIP, UsePort, &Dis_UdpFD);if(res==-1){this->error = NOCONNECT ;memcpy(this->error_info_, "该IP无法创建UDP连接",64);memcpy(this->error_info,  "ONVIF:Discovery UDP SOCKET ERROR(-1)\n",128);UdpClose(Dis_UdpFD);return -1;}else if(res==-2){   //bind errorUsePort+=2;     //UDP PORT 为偶数比较好UdpClose(Dis_UdpFD);Sleep(10);}else if(res==0){break;}}//如果依然绑定连接失败if(res==-2){this->error = NOCONNECT ;memcpy(this->error_info_, "Can't bind UDP PORT 5340-5596.(used by others now)",128);memcpy(this->error_info,  "ONVIF:Discovery UDP bind ERROR\n",128);//UdpClose(Dis_UdpFD);  //已经在上面关闭了，此处注释掉return -1;}///准备报文char *cxml = {"<?xml version=\"1.0\" encoding=\"UTF-8\"?><SOAP-ENV:Envelope x""mlns:SOAP-ENV=\"http://www.w3.org/2003/05/soap-envelope\" x""mlns:SOAP-ENC=\"http://www.w3.org/2003/05/soap-encoding\" x""mlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\" x""mlns:xsd=\"http://www.w3.org/2001/XMLSchema\" x""mlns:wsa=\"http://schemas.xmlsoap.org/ws/2004/08/addressing\" x""mlns:wsdd=\"http://schemas.xmlsoap.org/ws/2005/04/discovery\" x""mlns:chan=\"http://schemas.microsoft.com/ws/2005/02/duplex\" x""mlns:wsa5=\"http://www.w3.org/2005/08/addressing\" x""mlns:c14n=\"http://www.w3.org/2001/10/xml-exc-c14n#\" x""mlns:wsu=\"http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-utility-1.0.xsd\" x""mlns:xenc=\"http://www.w3.org/2001/04/xmlenc#\" x""mlns:wsc=\"http://schemas.xmlsoap.org/ws/2005/02/sc\" x""mlns:ds=\"http://www.w3.org/2000/09/xmldsig#\" x""mlns:wsse=\"http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-secext-1.0.xsd\" x""mlns:xmime=\"http://tempuri.org/xmime.xsd\" x""mlns:xop=\"http://www.w3.org/2004/08/xop/include\" x""mlns:tt=\"http://www.onvif.org/ver10/schema\" x""mlns:wsrfbf=\"http://docs.oasis-open.org/wsrf/bf-2\" x""mlns:wstop=\"http://docs.oasis-open.org/wsn/t-1\" x""mlns:wsrfr=\"http://docs.oasis-open.org/wsrf/r-2\" x""mlns:tad=\"http://www.onvif.org/ver10/analyticsdevice/wsdl\" x""mlns:tan=\"http://www.onvif.org/ver20/analytics/wsdl\" x""mlns:tdn=\"http://www.onvif.org/ver10/network/wsdl\" x""mlns:tds=\"http://www.onvif.org/ver10/device/wsdl\" x""mlns:tev=\"http://www.onvif.org/ver10/events/wsdl\" x""mlns:wsnt=\"http://docs.oasis-open.org/wsn/b-2\" x""mlns:timg=\"http://www.onvif.org/ver20/imaging/wsdl\" x""mlns:tls=\"http://www.onvif.org/ver10/display/wsdl\" x""mlns:tmd=\"http://www.onvif.org/ver10/deviceIO/wsdl\" x""mlns:tptz=\"http://www.onvif.org/ver20/ptz/wsdl\" x""mlns:trc=\"http://www.onvif.org/ver10/recording/wsdl\" x""mlns:trp=\"http://www.onvif.org/ver10/replay/wsdl\" x""mlns:trt=\"http://www.onvif.org/ver10/media/wsdl\" x""mlns:trv=\"http://www.onvif.org/ver10/receiver/wsdl\" x""mlns:tse=\"http://www.onvif.org/ver10/search/wsdl\">""<SOAP-ENV:Header><wsa:MessageID>urn:uuid:9D7A37A4-DBFE-4bdd-A79C-74998B7A375D</wsa:MessageID>""<wsa:To SOAP-ENV:mustUnderstand=\"true\">urn:schemas-xmlsoap-org:ws:2005:04:discovery</wsa:To>""<wsa:Action SOAP-ENV:mustUnderstand=\"true\">http://schemas.xmlsoap.org/ws/2005/04/discovery/Probe</wsa:Action>""</SOAP-ENV:Header><SOAP-ENV:Body><wsdd:Probe><wsdd:Types></wsdd:Types><wsdd:Scopes></wsdd:Scopes>""</wsdd:Probe></SOAP-ENV:Body></SOAP-ENV:Envelope>" };// 生成GUID , Linux下叫UUIDchar MessageID[128];GUID guid; if(CoCreateGuid(&guid)==S_OK){_snprintf_s(MessageID, sizeof(MessageID) ,"urn:uuid:%08X-%04X-%04x-%02X%02X-%02X%02X%02X%02X%02X%02X", guid.Data1   , guid.Data2   , guid.Data3, guid.Data4[0], guid.Data4[1], guid.Data4[2], guid.Data4[3], guid.Data4[4],guid.Data4[5], guid.Data4[6], guid.Data4[7] );}else{_snprintf_s(MessageID, sizeof(MessageID),"a5e4fffc-ebb3-4e9e-913e-7eecdf0b05e8");}//跳转到关键字段int xml_len = strlen(cxml);char *xml = new char[xml_len+2] ;   //从const char 到 charmemset(xml, 0, xml_len+2);memcpy(xml, cxml, xml_len);char *tmp_xml = strstr(xml,"urn:uuid:");//写入MessageIDint idlen = strlen(MessageID);for(int i=0;i<idlen;i++){tmp_xml[i] = MessageID[i] ;}///发送报文 res =UdpSendto(Dis_UdpFD, xml, xml_len,"239.255.255.250",3702); /*  if(xml_len>1500){res  =UdpSendto(Dis_UdpFD,  xml,      1400,         "239.255.255.250",3702);    res +=UdpSendto(Dis_UdpFD,  xml+1400, xml_len-1400, "239.255.255.250",3702);    }else{res =UdpSendto(Dis_UdpFD, xml, xml_len,"239.255.255.250",3702); }
*/  if(res!=xml_len){this->error = -1 ;char tmp[128];sprintf_s(tmp,128,"UDP send(%d)!=res(%d) ERROR",xml_len,res);memcpy(this->error_info_, tmp,128);memcpy(this->error_info,  "ONVIF:Discovery UDP send ERROR\n",128);UdpClose(Dis_UdpFD);delete xml;return -1;}///接收报文 char buf[4096] ;int size = 4096 ;//接收10次后依然没有报文，则退出for(int j=0,res=0; res==0 && j<100; j++){//memset(buf, 0, 4096); //2016年11月11日res =UdpRecvfrom(Dis_UdpFD, this->IP, buf+res, size-res);Sleep(10);}//如果没有收到，再次接收//if(res==-1){  //  for(res=0; res!=0; ){//      memset(buf, 0, 4096);//      res =UdpRecvfrom(Dis_UdpFD, this->IP, buf, size);//      Sleep(10);//  }//}//再次没有收到，认为出错了if(res==-1){    this->error = -1 ;char tmp[128];sprintf_s(tmp,128,"UDP recv(%d) ERROR",res);memcpy(this->error_info_, tmp,128);memcpy(this->error_info,  "ONVIF:Discovery UDP recv ERROR\n",128);UdpClose(Dis_UdpFD);delete xml;return -1;}////解释报文int resGDP =GetDiscoveryParam(buf, res, MessageID, this->XAddrs, 256);//XAddrs空间不足if(resGDP>0){this->error = -1 ;char tmp[128];sprintf_s(tmp,128,"GetVideo: XAddrs buf overflow(256<%d) ERROR",res);memcpy(this->error_info_, tmp,128);memcpy(this->error_info,  "GetVideo: 请增大XAddrs空间\n",128);UdpClose(Dis_UdpFD);delete xml;return -1;}//没有发现此设备if(resGDP==-1){this->error = NO_DEVICE ;memcpy(this->error_info_, "ONVIF:  this device NOT found\n", 128);memcpy(this->error_info,  "ONVIF:non Soap Discovery NO Device\n",128);UdpClose(Dis_UdpFD);delete xml;return -1;}// 关闭UdpClose(Dis_UdpFD);delete xml;return 0 ;
}
    其实设备发现，就是要得到一个XAddrs。同时看一下设备是否在线。如果你确认设备在线，并已知XAddrs，那不用发现这一步了。直接可以进行下面的操作。

ONVIF获取设备能力

    先看代码

/*获取能力
*/
void UserGetCapabilities(   struct soap *soap   ,struct __wsdd__ProbeMatches *resp,class _tds__GetCapabilities *capa_req,class _tds__GetCapabilitiesResponse *capa_resp,char *ONVIF_USER,char *ONVIF_PASSWORD)
{//申请空间capa_req->Category = (enum tt__CapabilityCategory *)soap_malloc(soap, sizeof(int));capa_req->__sizeCategory = 1;capa_resp->Capabilities = (class tt__Capabilities*)soap_malloc(soap,sizeof(class tt__Capabilities)) ;//选择要获取的设备能力*(capa_req->Category) = (enum tt__CapabilityCategory)(tt__CapabilityCategory__All);//身份认证，鉴权if(soap->error){ return; }COnvifDigest cTokenDigest(ONVIF_USER, ONVIF_PASSWORD);cTokenDigest.Authentication(soap,TRUE,"user");//获取设备能力if(soap->error){ return; }int result = soap_call___tds__GetCapabilities(soap, resp->wsdd__ProbeMatches->ProbeMatch->XAddrs, NULL, capa_req, capa_resp);}
    小白都会问：这段代码怎么得来的呢？请看解析。设备发现之后是能力获取，这可以从ONVIF官方资料得知。能力获取是用GetCapabilities()函数，这可以从ONVIF官网的操作说明看到，也就是上那个D网址。 那怎么知道soap的前缀呢，soap_call___tds__XXX也不是乱加的。最保守是在soapClient.cpp里Ctrl+F查找GetCapabilities关键字，就可以找到相应的函数。到你熟悉之后，你会发现tds是GetCapabilities()的命名空间，其他函数有其他的命名空间，代替一下就可以。关于函数调用之前，输入输出变量是什么意思，可以看ONVIF官网的函数说明。

ONVIF鉴权

鉴权可以用函数：

soap_wsse_add_UsernameTokenDigest(soap,"user", ONVIF_USER, ONVIF_PASSWORD); 
    这个函数要用到openssl库，要自己编译加进去，有点麻烦。这里的鉴权也就是用户名、密码、随机码/时间码的base64加密，自己也可能实现。所以我选择了不用openssl库的方法。推荐链接：
http://blog.csdn.net/pony_maggie/article/details/8588888
http://blog.csdn.net/qiaowei0/article/details/42024703(后面的链接，一开始可以用，后来设备多了情况复杂了就似乎有点问题，我修改过，但忘记改了哪里，代码就不放上来了 so sorry)

ONVIF流程

    可以实现能力获取这一步，就已经可以举一反三完成所有的ONVIF操作了。下面看看整体流程：发现设备 >> 获取能力 >> 获取媒体信息 >> 获取视频编码配置 >> 设置视频编码配置 >> 获取URI >> ONVIF完成 ->  RTSP播放 -> 解码

RTSP/RTP协议实现

增加准备资料，推荐以下链接：

http://blog.csdn.net/chenyanxu/article/details/2728427
http://www.cnblogs.com/lidabo/p/3701068.html
http://blog.csdn.net/baby313/article/details/7353605
http://www.faqs.org/rfcs/
http://blog.csdn.net/gavinr/article/details/7035966
http://blog.csdn.net/nkmnkm/article/category/1066093/2
http://blog.csdn.net/cjj198561/article/details/30248963
https://my.oschina.net/u/1431835/blog/393315都是关于RTSP及RTP包及H264等相关资料

RTSP通信

理论自已看上面的链接，不多说，直接上代码。

int C_RTSP_SendCMD::OPTIONS()
{//初始化memset(Authorization_Basic, '\0', 128); //用于鉴权//得到命令char *cmd = new char[1024];memset(cmd, 0, 1024);sprintf_s(cmd,1024, "OPTIONS %s RTSP/1.0\r\n""CSeq:1\r\n""User-Agent:HaoYun""\r\n""\r\n", C_RTSP_SendCMD::URI );//发送int sLenth = strlen(cmd);int res = send(tcpFD, cmd, sLenth, 0);delete cmd ;return res ;
}
    这里用到变量是：URI由ONVIF获取的。tcpFD是socket值。由LocalIP与设备建立的一个tcp链接，注意RTSP协议规定端口为554(有些也可能用8554)。Authorization_Basic是关于用户名和密码的一个basic64加密认证。 这里要注意的是命令里面不要有多余的空格和多余的转义，否则不行。发送完命令后，马上接收服务器返回的数据，然后就可以看到资料里所说的过程了。例如：OPTIONS rtsp://192.168.20.136:5000/xxx666  RTSP/1.0 CSeq: 1 //每个消息都有序号来标记，第一个包通常是option请求消息 User-Agent: HaoYun服务器的回应信息包括提供的一些方法,例如:RTSP/1.0 200 OK Server: HaoYun IPCCseq: 1 //每个回应消息的cseq数值和请求消息的cseq相对应 Public: OPTIONS, DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, SCALE, GET_PARAMETER   //服务器提供的可用的方法

再来一个要认证身份的例子

看下面代码：

int C_RTSP_SendCMD::DESCRIBE()
{//得到命令char *cmd = new char[1024];memset(cmd, 0, 1024);sprintf_s(cmd,1024, "DESCRIBE %s RTSP/1.0\r\n""CSeq:2\r\n""Accept: application/sdp\r\n""User-Agent:HaoYun""\r\n""\r\n", C_RTSP_SendCMD::URI );//要认证if(this->Authorization_Basic[1]!='\0'){char *cmd_tmp = strstr(cmd, "HaoYun");sprintf_s(cmd_tmp,512,  "HaoYun\r\n""Authorization: Basic %s""\r\n""\r\n", this->Authorization_Basic );}//end if//发送int sLenth = strlen(cmd);int res = send(tcpFD, cmd, sLenth, 0);delete cmd ;return res ;
}
    这里的Authorization_Basic是如下代码算出的。其中base64_bits_to_64()网上好多都有就不复制上来了。SOAP里也有，在那个鉴权函数里面，修改一下soap_malloc()就可以用了。

int C_RTSP_SendCMD::Calc_Authorization_Basic(char *user, char *passwd)
{unsigned char *user_passwd = new unsigned char[600];memset(user_passwd, '\0', 600);//合并两个int u_len = strlen(user);int p_len = strlen(passwd);memcpy(user_passwd,         user,   u_len);*(user_passwd+u_len) = ':';memcpy(user_passwd+u_len+1, passwd, p_len);//base64转码base64_bits_to_64((unsigned char *)this->Authorization_Basic, user_passwd, u_len+p_len+1);delete user_passwd;return 0 ;
}
1.接收到DESCRIBE的sdp报文后，就在sdp里解析出 control 和 transport 来。
2.接着就是用上面得到的信息进行SETUP
3.接收到SETUP的返回信息后，解析出Session，每个通话都有一个固定的Session。
4.用Session值发送PLAY命令，成功的话，就有视频流了。这时候的流是RTP包(如果用RTP协议的话)。
5.还有一个关闭的命令TEARDOWN，在关闭的时候调用。

RTP协议实现接收

    看完上面RTSP的链接后，就可以看下面的代码了。(如果一头雾水，请对照着那两个RTP网址来看，或对照着RTP协议也可以)理论不说，分析代码去。其中两个结构体是关于RTP头的，GetHeader()就是解析填充这两个头，代码和协议有一一对应的关系。而GetNALUnit_OneFrame()是从视频流中把一个个小RTP包拆解成NAL包，再一个个的合并成一个大帧，合并得到的帧可以送到解码器解码了。有些解码器也许不需要合并帧这一步，直接把NAL流送过去就可以解码的。

//
// 2 class CH264_RTP_UNPACK_2 start  class CH264_RTP_UNPACK_2
{
#define RTP_VERSION     2
#define BUF_SIZE        (1024 * 500)  typedef struct   {  //LITTLE_ENDIAN  unsigned char   CC;      /* 4 CSRC count                 */  unsigned char   X;       /* 1 header extension flag      */  unsigned char   P;       /* 1 padding flag               */  unsigned char   V;       /* 2 packet type                */  unsigned char   PT;      /* 7 payload type               */  unsigned char   M;       /* 1 marker bit                 */  unsigned short   seq_number;        /* 16 sequence number            */  unsigned int     time_stamp;        /* 32 timestamp                  */  unsigned int     SSRC;              /* 32 synchronization source     */ unsigned int     size;} RTP_Header_t; typedef struct {unsigned char   Type;       // 5     unsigned char   NRI;        // 2    unsigned char   F;          // 1 在 H.264 规范中规定了这一位必须为 0unsigned char   FUA_Type;   // 5 unsigned char   FUA_R;      // 1unsigned char   FUA_E;      // 1 置1 NAL单元的结束unsigned char   FUA_S;      // 1 置1 NAL单元的开始unsigned char   isMajor578;unsigned int    size;} NAL_Header_t; public:RTP_Header_t  m_RTP_Header;NAL_Header_t  m_NAL_Header;unsigned char *H264_OneFrame;int H264_1f_size;int pic_size3;public:CH264_RTP_UNPACK_2(){}~CH264_RTP_UNPACK_2(){delete H264_OneFrame ;}void CH264_RTP_UNPACK_2_Init(){memset(&m_RTP_Header, 0, sizeof(RTP_Header_t));memset(&m_NAL_Header, 0, sizeof(NAL_Header_t));H264_OneFrame = new unsigned char[pic_size3];memset(H264_OneFrame, 0, pic_size3);H264_1f_size = 0 ;}// 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 //*-+-+-+-+-+-+-+-+*+-+-+-+-+-+-+-+*+-+-+-+-+-+-+-+*+-+-+-+-+-+-+-+//|V=2|P|X|  CC   |M|     PT      |       sequence number         |//|                         timestamp                             |//|                synchronization source(SSRC)                   |//+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+//                      ..........int GetHeader(unsigned char *RTP_PackegRawBuf,int size){if(size<13){ return -2; }   //包头不会小于13的unsigned int ba,bb,bc,bd;   //4个字节中间变量m_RTP_Header.V  =  RTP_PackegRawBuf[0] >>6 ;m_RTP_Header.P  = (RTP_PackegRawBuf[0] &0x20)? 1:0 ;m_RTP_Header.X  = (RTP_PackegRawBuf[0] &0x10)? 1:0 ;m_RTP_Header.CC =  RTP_PackegRawBuf[0] &0x0f ;m_RTP_Header.M  = RTP_PackegRawBuf[1] >>7 ;m_RTP_Header.PT = RTP_PackegRawBuf[1] &0x7f ;ba = RTP_PackegRawBuf[2] ;bb = RTP_PackegRawBuf[3] ;m_RTP_Header.seq_number = (ba<<8) + bb ;ba = RTP_PackegRawBuf[4] ;bb = RTP_PackegRawBuf[5] ;bc = RTP_PackegRawBuf[6] ;bd = RTP_PackegRawBuf[7] ;m_RTP_Header.time_stamp = (ba<<24) +(bb<<16) +(bc<<8) +bd ;ba = RTP_PackegRawBuf[ 8] ;bb = RTP_PackegRawBuf[ 9] ;bc = RTP_PackegRawBuf[10] ;bd = RTP_PackegRawBuf[11] ;m_RTP_Header.SSRC = (ba<<24) +(bb<<16) +(bc<<8) +bd ;m_RTP_Header.size = 12 + m_RTP_Header.CC ;//NAL包//RTP版本不同if(m_RTP_Header.V!=RTP_VERSION){    return -2;}//存在特殊报头,此处要加入特殊处理,此版本不支持固直接返回if(m_RTP_Header.X){return -2;}//《RFC3551 RTP A/V Profile》中定义动态标识区（一般96标识H264）//if(m_RTP_Header.PT<96 || m_RTP_Header.PT>127){//(!!!!! 此处假定96(0X60)标识H264 并仅对H264进行处理 !!!!!)if(m_RTP_Header.PT != 96){return -2;}//提取H264 NAL头int nal_h_offset  = 12+m_RTP_Header.CC ;m_NAL_Header.F    =  RTP_PackegRawBuf[nal_h_offset] >>7;m_NAL_Header.NRI  = (RTP_PackegRawBuf[nal_h_offset] &0x60)>>5;m_NAL_Header.Type =  RTP_PackegRawBuf[nal_h_offset] &0x1f;//重要类型为 5,7,8,1? (25,27,28,65,67,68,21?...)m_NAL_Header.isMajor578 = 0 ;if(m_NAL_Header.Type==5 || m_NAL_Header.Type==7 || m_NAL_Header.Type==8 || m_NAL_Header.Type==1 ){m_NAL_Header.isMajor578 = 1 ; }//此处仅处理多片FU-A(28)及单片的情况,其他情况直接返回if(m_NAL_Header.Type>23 && m_NAL_Header.Type!=28){return -2;}// 分片 FU-A if(m_NAL_Header.Type==28){m_NAL_Header.FUA_S    =  RTP_PackegRawBuf[nal_h_offset+1] >>7 ;m_NAL_Header.FUA_E    = (RTP_PackegRawBuf[nal_h_offset+1] &0x40)>>6;m_NAL_Header.FUA_R    = 0 ;m_NAL_Header.FUA_Type =  RTP_PackegRawBuf[nal_h_offset+1] &0x1f ;m_NAL_Header.size     = 2 ;}else{ //单片m_NAL_Header.FUA_S    = 0 ;m_NAL_Header.FUA_E    = 0 ;m_NAL_Header.FUA_R    = 0 ;m_NAL_Header.FUA_Type = 0 ;m_NAL_Header.size     = 1 ;}return 0;}//此函数未测试 - 2016年11月11日int CheckLostMajorPackeg(float *fLossRate){bool isLost =0;static bool isFrame_loss[256] = {0} ;static unsigned char i = 0 ;static unsigned short seq_number_old = 0;//重要类型为 5,7,8 (25,27,28,65,67,68,...)bool isMajor = 0 ;unsigned char Type[2];Type[0] = m_NAL_Header.Type &0x0f ;Type[1] = m_NAL_Header.FUA_Type & 0x0f ;//判断是否有5 7 8 for(int j=0;j<2 && isMajor==0;j++){switch(Type[j]){case 5:case 7:case 8: isMajor = 1 ; break;default: isMajor = 0 ;}}if(isMajor==0){ //更新数据seq_number_old = m_RTP_Header.seq_number ;return 0; }//如果是重要帧//序列号应该递增isLost = 1 ;if(m_RTP_Header.seq_number-seq_number_old == 1){isLost = 0 ;}if(seq_number_old==0xffff && m_RTP_Header.seq_number==0x0000){isLost = 0 ;}//计算丢包率float lossnum = 0.0 ;isFrame_loss[i++] = isLost ;for(int j=0;j<256;j++){if(isFrame_loss[j])lossnum += 1.0 ;}*fLossRate = lossnum/256.0f ;//更新数据seq_number_old = m_RTP_Header.seq_number ;return (int)isLost;}int GetNALUnit_OneFrame(unsigned char *RTP_PackegRawBuf,int size){int reValue = 0 ;float fLossRate =0.0;static int isLossPackeg = 0 ;//参数断定if(RTP_PackegRawBuf==NULL || size<13){return -1;}GetHeader(RTP_PackegRawBuf,size);/*if(!isLossPackeg && CheckLostMajorPackeg(&fLossRate)){isLossPackeg = 1 ;printf("loss packeg: LossRate=%f ... \n",fLossRate);}//如果丢包，丢掉这一帧if(isLossPackeg){memset(H264_OneFrame, 0, H264_1f_size);H264_1f_size = 0 ;if(m_RTP_Header.M){ //如果帧结束，清零标记位isLossPackeg = 0 ;}return -1;}*///去壳、去头去尾unsigned char *playload = RTP_PackegRawBuf ;int playload_size = 0 ;int padding_size = 0 ;if(m_RTP_Header.P){  //尾部有多余数据padding_size = RTP_PackegRawBuf[size-1] ;}//数据大小及数据地址重新指向有效数据区域playload_size = size -(m_RTP_Header.size+m_NAL_Header.size) -padding_size +1;playload += m_RTP_Header.size + m_NAL_Header.size -1;//单片if(m_NAL_Header.size==1 && !m_NAL_Header.isMajor578){playload -= 3 ;playload_size += 3 ;playload[0] =0x00; playload[1] =0x00; //写入头playload[2] =0x01; }else if(m_NAL_Header.size==1 && m_NAL_Header.isMajor578){playload -= 4 ;playload_size += 4 ;playload[0] =0x00; playload[1] =0x00; playload[2] =0x00; playload[3] =0x01;}else if(m_NAL_Header.size==2){  //多片if(m_NAL_Header.FUA_S){     //分片开始playload -= 4 ;playload_size += 4 ;playload[4] = (playload[3]&0xe0) + (playload[4]&0x1f);//取FU indicator的前三位和FU Header的后五位为NAL类型。playload[0] =0x00; playload[1] =0x00; //写入头playload[2] =0x00; playload[3] =0x01;}else{playload += 1 ;         //除去 FU Headerplayload_size -= 1 ;}}//合并成一帧memcpy(H264_OneFrame+H264_1f_size, playload, playload_size);H264_1f_size += playload_size ;//帧结束标志if(m_RTP_Header.M){if(H264_1f_size<pic_size3){ //size大小是否异常reValue = 1 ;}else{   //出错则清零memset(H264_OneFrame, 0, pic_size3);H264_1f_size = 0 ;}//以下仅用于文件测试//得到的视频文件可以用播放器打开//static int i=0;//printf("running %d... \n",i++);
/*          FILE *fp = fopen("test.264","ab+");int a = fwrite(H264_OneFrame,1,H264_1f_size,fp);if(a!=H264_1f_size){printf("write file test.264 ERROR ! \n");}fflush(fp);fclose(fp);
*/          //memset(H264_OneFrame, 0, H264_1f_size);//H264_1f_size = 0 ;//以上仅用于测试}// end if(m_RTP_Header.M)return reValue ;}};// 2 class CH264_RTP_UNPACK_2 end
//

FFMPEG解码实现

    终于到最后一步了。请编译ffmpeg与x264。网上虽然很多资料，但大多不行，要自己综合各方资料。请看上面的推荐链接。也许编译这一步会有点麻烦，耐心一点总可以解决。

关于FFMPEG多线程问题：

    这里注意多线程问题，如果你用FFMPEG解多路视频的话，编译的时候请--enable-w32thread. 否则不好说，网上很多人都说多线程会出现问题，但也有人没有问题。而且就算你enable了多线程，里面有些函数也是不支持多线程的。比如说：

/**......* @warning This function is not thread safe!** @note Always call this function before using decoding routines (such as.......*/
int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options);

关于FFMPGE的例子：

    官方的资料里有PLAYER的例子，还有test文件夹下的decode例子。推荐一个文件api-h264-test.cpp，这个参考性很高。民间例子更多了，比如《最简单的基于FFmpeg的视频播放器 Simplest FFmpeg Player》雷霄骅。下面看一个由api-h264-test.cpp更装过来的函数。

/*仅作测试功能：打开一个filepath文件并解码
*/
int C_FFMPEG_Decode::onlyforfun_and_test()
{AVFormatContext *pFormatCtx;int             i, videoindex;AVCodecContext  *pCodecCtx;AVCodec         *pCodec;char filepath[]="test.264";//char filepath[]="rtsp://192.168.70.231/majorvideo_and_audio";//char filepath[]="rtsp://192.168.70.179/majorvideo_and_audio";av_register_all();//avformat_network_init();pFormatCtx = avformat_alloc_context();if(avformat_open_input(&pFormatCtx,filepath,NULL,NULL)!=0){printf("Couldn't open input stream.（无法打开输入流）\n");return -1;}if(avformat_find_stream_info(pFormatCtx,NULL)<0){printf("Couldn't find stream information.（无法获取流信息）\n");return -1;}videoindex=-1;for(i=0; i<pFormatCtx->nb_streams; i++) if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO){videoindex=i;break;}if(videoindex==-1){printf("Didn't find a video stream.（没有找到视频流）\n");return -1;}pCodecCtx=pFormatCtx->streams[videoindex]->codec;pCodec=avcodec_find_decoder(pCodecCtx->codec_id);if(pCodec==NULL){printf("Codec not found.（没有找到解码器）\n");return -1;}if(avcodec_open2(pCodecCtx, pCodec,NULL)<0){printf("Could not open codec.（无法打开解码器）\n");return -1;}//初始化参数，下面的参数应该由具体的业务决定  //pCodec    = avcodec_find_decoder(CODEC_ID_H264);  //pCodecCtx = avcodec_alloc_context3(pCodec); //avcodec_open2(pCodecCtx, pCodec, NULL);pCodecCtx->time_base.num    = 1         ;  pCodecCtx->frame_number     = 1         ; //每包一个视频帧  pCodecCtx->codec_type       = AVMEDIA_TYPE_VIDEO;  pCodecCtx->bit_rate         = 0         ;  pCodecCtx->time_base.den    = 25        ; //帧率  pCodecCtx->width            = 384       ; //视频宽  pCodecCtx->height           = 288       ; //视频高  AVFrame *pFrame,*pFrameYUV;pFrame=av_frame_alloc();pFrameYUV=av_frame_alloc();uint8_t *out_buffer=(uint8_t *)av_malloc(avpicture_get_size(AV_PIX_FMT_YUV444P, pCodecCtx->width, pCodecCtx->height));avpicture_fill((AVPicture *)pFrameYUV, out_buffer, AV_PIX_FMT_YUV444P, pCodecCtx->width, pCodecCtx->height);int ret, got_picture;AVPacket *packet=(AVPacket *)av_malloc(sizeof(AVPacket));//输出一下信息-----------------------------printf("File Information（文件信息）---------------------\n");av_dump_format(pFormatCtx,0,filepath,0);printf("-------------------------------------------------\n");struct SwsContext *img_convert_ctx;img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV444P, SWS_BICUBIC, NULL, NULL, NULL); //--------------//Event Loopfor (;;) {//Waitif(1){//------------------------------Sleep(40);if(av_read_frame(pFormatCtx, packet)>=0){if(packet->stream_index==videoindex){ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);if(ret < 0){printf("Decode Error.（解码错误）\n");return -1;}if(got_picture){sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);/int rows = pCodecCtx->height ;int cols = pCodecCtx->width ;if(rows && cols){/* 请加入opencv
/*                          Mat imgBGR = Mat(rows,cols,CV_8UC3);Mat img[3];img[0] = Mat(rows,cols,CV_8UC1);img[1] = Mat(rows,cols,CV_8UC1);img[2] = Mat(rows,cols,CV_8UC1);int size = rows*cols;memcpy(img[0].data, pFrameYUV->data[0], size);memcpy(img[1].data, pFrameYUV->data[1], size);memcpy(img[2].data, pFrameYUV->data[2], size);merge(img,3,imgBGR);cvtColor(imgBGR,imgBGR,CV_YUV2BGR);imshow("opencv",imgBGR);waitKey(1);
*/                      }///}}av_free_packet(packet);}else{//Exit Threadbreak;}}}sws_freeContext(img_convert_ctx);//--------------av_free(out_buffer);av_free(pFrameYUV);avcodec_close(pCodecCtx);avformat_close_input(&pFormatCtx);return 0;
}
    这里需要注意的是，视频的宽、高、帧率、输入格式、输出格式等。细心者可以看到，这里可以直接打开URL。是的，但是不能打开所有URL。如果自己实现RTSP协议，则可以打开足够多类型的URL。如果是打开URL，那接收buffer要足够大，不然会花屏、卡、跳帧等。

如果自己实现RTSP/RTP，那么就要自己填充AVPacket了(AVPacket是FFMPEG中一个为数不多的重要结构体！)。参考代码如下：

//申请输入码流包空间//packet = (AVPacket *)av_malloc(sizeof(AVPacket));packet = av_packet_alloc();av_init_packet(packet);packet->data = (uint8_t *)av_malloc(width*height*3+64); //编码包数据空间(不可能比原图更大了)memset(packet->data, 0, width*height*3+64);             //加64是因为有些CPU是每次读32/64位packet->size = 0 ;  //未有数据设为0
.....
packet->size = nal_size ;
memcpy(packet->data, packet->size,nal_data);
......
avcodec_decode_video2(...)
.....
memset(packet->data, 0, width*height*3+64);
packet->size = 0 ;
......

看看总体效果图 
 

ONVIF、RTSP/RTP、FFMPEG的开发实录相关推荐

  1. ONVIF网络摄像头(IPC)客户端开发—ONVIF介绍

    1.前言: 网上已经有很多关于ONVIF开发的资料,这里概括介绍一下ONVIF协议以及介绍一下我自己在开发ONVIF网络摄像头的一些流程和经验,做个开发记录和经验总结,以备将来查看,也可供他人参考.如 ...

  2. 摄像头上（ONVIF/RTSP）介绍

    简介: 摄像头上面的两个标记"ONVIF/RTSP"就是摄像头符合"网络视频标准规范"和"实时流传输协议"容的标准生产出来的,符合质量要求的 ...

  3. RTSP/Onvif安防网络摄像头无插件直播流媒体服务EasyNVR如何实现网络摄像机Onvif/RTSP接入直播与云台控制

    什么是Onvif协议 ONVIF规范描述了网络视频的模型.接口.数据类型以及数据交互的模式.并复用了一些现有的标准,如WS系列标准等.ONVIF规范的目标是实现一个网络视频框架协议,使不同厂商所生产的 ...

  4. RTSP基础之RTSP/RTP推流协议流程

    这里分析一下RTSP/RTP 推流信令流程,主要分析工具 EasyDarwin RTSP服务器,wireshark抓包工具,ffmpeg RTSP推流客户端. OPTIONS rtsp://192.1 ...

  5. 完美对接海康、大华、华为等等设备的Onvif/RTSP流媒体服务全终端无插件直播-本地安装启动...

    LiveNVR Onvif/RTSP流媒体服务,支持RTSP稳定拉流接入,支持Onvif协议接入,支持RTMP/HLS/HTTP-FLV分发,将传统安防监控设备互联化,无插件直播等. 下载安装 下载L ...

  6. H265与ffmpeg改进开发

    H265与ffmpeg改进开发 Introduction KSC265是集编码.解码于一体的H.265编解码软件,完全遵循H.265协议标准.符合H.265编码规范的视频都可以通过KSC265进行解码 ...

  7. FFmpeg扩展开发

    FFmpeg扩展开发 对FFmpeg RTMP/FLV部分做了扩展,用于支持H.265. 针对<video_file_format_spec_v10_1> VIDEODATA部分扩展如下: ...

  8. 【CSON原创】HTML5游戏框架cnGameJS开发实录（外部输入模块篇）

    返回目录 1.为什么我们需要外部输入模块? 在游戏中我们常常用到类似这样的操作:鼠标点击某位置,玩家对象移动到该位置,或者按鼠标方向键,玩家向不同方向移动,等等.这些操作无一不用与外部输入设备打交道. ...

  9. OpenCV4Android开发实录(2)： 使用OpenCV3.4.1库实现人脸检测

    OpenCV4Android开发实录(2): 使用OpenCV3.3.0库实现人脸检测 转载请声明出处:http://write.blog.csdn.net/postedit/78992490 Ope ...

最新文章

  1. linux tar的使用方法
  2. python使用scipy包读取高光谱图像
  3. Removed k rows containing missing values
  4. map vs hash_map
  5. 文件操作的常用命令 -- grep, cut, sed
  6. keras随笔-读取IMDB电影数据集
  7. ubuntu创建wifi热点plasma-nm
  8. Scala入门到精通——第十五节 Case Class与模式匹配（二）
  9. 高中经历——高考专业被调剂毁了童年梦想
  10. 年度总结、下年计划不会做？教给你一个一招致胜的方法
  11. 正则提取的url中的域名以及替换域名的方法 preg_match()和preg_replace()
  12. 北妈每日一学：ES6语法之 箭头函数（附免费学习资料）
  13. R语言可视化学习笔记之ggridges包绘制山峦图
  14. Shamir密钥分享算法 python实现
  15. oracle12c order by,oracle 数据库中order by 的一些高级用法
  16. 搭建fabric-sample/balance-transfer网络详解
  17. 《大数据技术原理与应用》第一章-大数据概述
  18. 微信小程序获取用户头像和昵称能力调整！新的代替方案！
  19. GCD中dispatch_barrier的使用方法
  20. 程序员考公指南1-59

热门文章

  1. 无源波分和彩光模块_5G前传WDM解决方案，无源波分和彩光模块
  2. spring事务管理器的作用_【面试必问】Spring中的事务管理详解
  3. STC51-1602、12232、12864液晶
  4. mysql数据库5.7配置文件_mysql数据库5.7版本部署
  5. revit2018注册表删除_Revit软件的彻底卸载方法 注册表卸载
  6. 王道2.1 abc python3
  7. 假如有Thread1、Thread2、ThreaD3、Thread4四条线程分别统计C、D、E、F四个盘的大小，所有线程都统计完毕交给Thread5线程去做汇总，应当如何实现？
  8. iOS APP打包上传到APPstore的最新步骤
  9. webpack代码分割和懒加载
  10. jQuery入门：认识jQuery