城市视觉技术在智慧城市中的应用

01.引言

计算机视觉技术，当今已被广泛应用于城市交通管理、城市市容市貌管理、城市治安防控、智慧园区、智慧工地、智慧水务等业务场景中。通过输入的视频流或图像流，抽帧检测违章违规行为，辅助提高城市治理、治安防控手段和水平，以此构建平安城市、智慧城市。

02.常见的人、车、脸、物 CV识别算法

2.1智慧城管业务

业务范围：城市市容市貌的整洁度、基础设施的完备度，可以体现一个城市的文明程度，也可以从侧面反映出这个城市的经济水平。城市管理（狭隘范畴）业务中，主要针对城管事件、城市部件进行治理和监督，切实保障老百姓的基本照明、网络通讯、交通出行、休闲娱乐等需求。城市管理（广义范畴）业务中，可以涵盖交通管理、园区安全、水域安全等业务治理场景。

路灯、立杆、井盖、通讯设施、交通护栏等部件，作为城市基础设施，当它们年久失修、故障或废弃不用时，是每天奔波在城市大街小巷的各个网格员及时发现并将问题上报，切实保障了人们的照明、安全、网络通讯等一系列需求。

当你走在某个城市的路边，发现有沿街晾晒、共享单车乱堆乱放、游商摊贩沿街售卖、非法小广告乱贴乱飞，那么可以说明这个城市对于城市市容市貌的治理力度不够，如果你足够热心，可以通过打12345市长热线进行问题反馈。当然，也可以当作没看见直接走过，会有专人（网格员）将这些问题上报，也会有专人进行问题处置整改，还城市一份整洁和干净。

业务需求：雇佣人力扫街的城市治理方式，显然不足以满足当前智慧城市的城市智慧化治理需求，需要拓展多样化、多源化的信息上报渠道和问题主动发现能力，如摄像头、无人机等识别城市违规违章问题等等，通过主动治理与被动治理相结合，逐步提高城市治理和城市管理水平。

业务手段：在具体的治理过程中，通过拓展问题上报渠道，建立信息化系统，来对接不同形态的采集数据：文本\图像\视频，如摄像头采集的监控视频流，手机终端上报的图片\视频\文本，热线系统上报的语音数据和文本数据。利用NLP、CV、传感器等技术手段实现城市管理业务中的违章违规行为检测和主动告警，以此来提高城市管理智能化水平。

在智能化赋能城市治理过程中，技术方案选型也是非常重要的一环。比如，针对井盖破损，手机近距离拍摄是一种合理的方案，若要依靠摄像头，那么需要摄像头的拍摄距离、拍摄角度都要符合技术可行条件，在当前阶段，摄像头由于架设在路边，俯瞰井盖抓拍的图像可能不足以支撑算法进行井盖破损识别。

针对图像、视频等输入源，其常见的技术处理手段为CV（计算机视觉），常见的CV算法手段有目标检测、目标识别、行为检测等等，针对不同终端采集的视觉数据，其算法模型可能不同，可能需要针对某些场景，进行检测识别算法业务定制。

常见的城管CV识别算法：垃圾桶垃圾满溢检测、乱堆物料检测、积存垃圾渣土检测、消防通道被占用检测、共享单车乱堆乱放检测、四轮车违章停车检测、随意张贴非法小广告检测、绿地脏乱检测、沿街晾挂检测、井盖丢失检测......

智慧城管常见的落地应用：当前市面上的城管应用，主要围绕着视频发现识别预警上报、任务派发、现场处置、结案归档全流程中的一环或多环进行AI赋能。如海康威视依托于硬件优势，打开其在城管治理细分行业的市场，提供硬件（摄像头）+软件一体的智慧城管系统，具有一定的价格优势。此外，商汤、旷视、百度、阿里、依图科技等厂商，也在城管领域，有相应的ToG AI产品问世及落地应用。擅长算法的厂商主攻AI，擅长软件系统集成的厂商主攻业务应用SaaS系统及业务集成，各有分工。

以检测某条街道的“沿街晾晒”、“乱堆物料”、“违章停车”、“共享单车乱堆放”任务为例，讲述产品的落地路径：

1）设备选型

一般要求先选定这条被检测街道上的一系列摄像头，在选址和设备选型层面非常重要，即不要选择拍摄不到这条街道的摄像头作为采集设备。

2）算法模型构建、调优与产品设计

通过采集获取摄像头抓拍的视频流或图像数据，进行大量标注和模型训练，可产出视觉算法模型。不同城市的街道街景是存在差异的，因此基于A城市开发的城市事件识别算法在B城市不一定适用，因此，需要算法具备一定的通用性，通用性的提高，一个必要的措施就是要求需要积累一定量不同城市的训练数据，可以实地获取，也可以仿真建模来构建训练数据。

此外，还要认识到算法识别是有一定瓶颈的，对于光照、抓拍角度、抓拍距离等因素非常敏感，因此端到端的产品解决方案及产品的易用性，极大程度上决定了客户愿意为谁家产品买单。

产品设计思路：

当确定了摄像头后，需要根据摄像头采集的视频流做处理和分析，通过抽帧\其它手段检测视频图像中是否有违章行为，再搭配上层的业务逻辑进行系统闭环设计。

a)一般要求具备多目标检测能力，即画面中有多个违规事件时，需要全部检出。

b) 需要考虑告警逻辑、误告警优化逻辑。如连续一定帧数画面中同一位置附近均有相同问题出现，系统则判定该问题为一个违规事件，系统将违规问题告警上报。再比如，一段时间内有违规问题出现，隔了一段时间后，该违规问题自动消失了，系统是否要产生告警？两种方案，1是不告警，2是先告警，但再自动结案，将告警记录和结案记录存储，以备后续查看。

c）告警记录查询，系统产生的各类告警记录，要进行存储和快速查找，方便业务人员对业务进行管理和考核分析。

d) 支持查看\回放每路摄像头的实时视频流及历史录像，前端需要支持框选目标检测区域以提高目标检测的精准率。

3）产品性能优化

完成产品设计后，产品性能的打磨也是提高产品竞争力必备的一项。

2.2 人、车、脸算法常见的业务场景

在2.1章节中，主要讲述了城市管理相关的业务范围及产品，主要针对的是移动\静态的物体、车辆进行识别。还有一些城市业务场景，需要用到人体、人脸、车辆的识别算法。

比如，在交通管理业务场景中，需要针对道路交通违法违规行为进行监管。利用电子眼和卡口视频抓拍到的视频图像数据，引入相应的算法模型，对交通违法行为进行识别。

常见的道路交通违法行为有：车辆逆行、车辆无车牌、车辆号牌遮挡、实线变道、占用非机动车道、占用公交车道、占用应急车道、行人横穿马路、行人翻越护栏、行人上高速、司机不系安全带等。这其中会用到人体（男、女、头发长度、上衣类型、下身服饰、是否背包、背包类型、鞋子颜色、鞋子类型、是否戴头盔、是否戴口罩、是否抽烟、是否打手机、是否打架斗殴、人员倒地检测...）、车辆的行为\属性（车牌号、车型、车身颜色、天窗特征、是否为特种车（渣土车、危化品车...））检测算法。

除了上述违法行为在交警业务管辖范围内，道路上的道路拥堵、道路上发生的交通事故、道路上发生的车辆燃烧事故等，也需要交警（有些也需要协同公安民警）进行关注\处理\疏散。基于上述业务管理需求，也衍生了一系列的AI算法模型，如：

道路拥堵检测、道路积水识别、车辆异常停留识别、道路烟火检测、车流量预测等等...

这些算法模型，在交管、公安侦查办案中，发挥着至关重要的作用。通过多种实体的属性和行为检测算法，再结合政府业务部门自有的业务数据（如人员档案、车辆档案、企业档案..）、企业自有的数据（舆情数据、用户网络行为、车辆轨迹数据...），设计一系列智能应用（如安防监控分析产品、智慧交通产品、智慧园区产品..），可辅助公安\交管等部门在案件挖掘、分析及溯源中大大提高案件侦破率和侦破效率。