IP Camera采集方案

一、目的

路端设备使用ip camera方案做视觉采集，而且图像识别需要低延时等特性。这里总结一下ip camera的配置，视频流架构，流媒体特性及整套延时优化方案。

二、IP摄像头属性

1、海康摄像头

拉流地址：

rtsp://[username]:[password]@[address]:[port]/[codec]/[channel]/[subtype]/av_streamrtsp:// => 协议格式头
username => 用户名，例如：admin
password => 密码，例如：123456
address => IPC设备的网络地址，例如：192.168.1.65
port => IPC设备的RTSP输出端口，默认为554，若为默认可不填写
codec => 视频压缩格式，有h264、MPEG-4、mpeg4这几种，要想前端无插件播放需要选择h264
channel => 通道号，起始为ch1，例如：通道1，则为ch1
subtype => 码流类型，主码流为main，子码流为subrtsp://[username]:[password]@[address]:[port]/Streaming/Channels/[id]?transportmode=[type]rtsp:// => 协议格式头
username => 用户名，例如：admin
password => 密码，例如：123456
address => IPC设备的网络地址，例如：192.168.1.65
port => IPC设备的RTSP输出端口，默认为554，若为默认可不填写
id => 通道号&码流类型
101：通道1主码流
102：通道1子码流
103：通道1第三码流
1201：通道17主码流
001：通道0主码流
type => 可选参数，拉流模式，默认为unicast，若为默认可以不填写
unicast：单播模式拉流
multicast：组播模式拉流

摄像头配置属性

由于曝光间隔为25帧（40ms），如果编码帧率和曝光帧率不匹配，会导致编码的时候丢掉一些帧，而保证低帧数。

而I帧间隔为50，也就是gop为50帧，以20帧计算为2.5s一个I帧；以25帧计算为2s一个I帧；所以最慢编码延时在2s。

2、大华摄像头

拉流地址：

rtsp://[username]:[password]@[address]:[port]/cam/realmonitor?channel=[id]&subtype=[type]rtsp:// => 协议格式头
username => 用户名，例如：admin
password => 密码，例如：123456
address => IPC设备的网络地址，例如：192.168.1.65
port => IPC设备的RTSP输出端口，默认为554，若为默认可不填写
id => 通道号，起始为1。例如通道2，则为channel=2。
type => 码流类型，主码流为0（即subtype=0），辅码流为1（即subtype=1）

三、拉流

1、vlc拉流

媒体->打开网络串流->右下角选“播放”

2、vsplayer拉流

3、gstreamer拉流

nvgstplayer-1.0 -i rtsp://admin:zhidao2019@192.168.3.222:554/h264/ch1/main/av_stream --stats --svd="avdec_h264# skip-frame=1# output-corrupt=false"gst-launch-1.0 rtspsrc location=rtsp://admin:zhidao2019@192.168.3.222:554/h264/ch1/main/av_stream caps='application/x-rtp, encoding-name=(string)H264, payload=(int)96' ! rtph264depay ! queue ! h264parse ! nvv4l2decoder ! nv3dsink -egst-launch-1.0 filesrc location=Taiwan.mp4 !      qtdemux ! queue ! h264parse ! nvv4l2decoder      enable-max-performance=1 ! filesink location=/data/out.yuv

四、录流

1、vlc录流（ubuntu和window使用方法一样）

媒体→打开网络串流

右下角选“串流”

确认rtsp地址后，选“下一个”

选择目标为文件，选“添加”

选保存的文件名“浏览”

文件名填写

确认保存的文件路径，选“下一步”

不需要转码，去掉勾选，配置选“H264+mp3”->下一个

点击“流”

下图是录制流视频的显示，录制结束点关闭

2、wireshark录流

3、tcpdump录流

五、直播方案

六、延时优化建议

七、问题

1、拉流丢帧

海康摄像头有两种接口，一个旧接口rtsp://[username]:[password]@[address]:[port]/[codec]/[channel]/[subtype]/av_stream，拉流的时候发现流的帧率不稳定，在10帧左右，有明显卡顿；更换为新的拉流接口rtsp://[username]:[password]@[address]:[port]/Streaming/Channels/[id]?transportmode=[type]解决此问题。

2、帧间隔不稳定

发现设置20帧，录制流视频，安帧播放，发现有几帧40ms，会有一个80ms或更大的时间，原因是编码帧率和曝光帧率不同步，曝光帧率是25帧，编码如果小于25帧，编码的时候会动态丢帧编码，如果编码帧率也为25帧，则视频帧间隔均为40ms。