互联网高速发展的时代，每个人都处在海量的信息海洋中。信息便捷能够带来服务和消费体验的升级，但同时，大量未经核实的信息对国家安全、社会稳定、青少年健康，都会造成不良影响。

国家互联网信息办公室部署开展 2021 年"清朗"系列专项行动，将从 8 个方面发力严格把关不良违规内容，重点整治网上涉历史虚无主义、涉黄涉非、涉低俗等有害信息。

对每一家互联网内容平台来说，为确保平台内容的合法性和规范性，健全平台内容审核机制已成为必须重视的问题。而如何进行内容安全审核系统的设计，如何实现流程，如何达到合规性的标准……这些亦成为互联网平台运营者搭建内容安全审核系统所必须思考的重点。

审核是对产品风险的把控，也是维护网络生态环境重要的一环。由于AI审核的局限性，互联网平台如需达到99%以上的准确率，需要人工审核的接入。

下面，就让我们一起来了解下，内容审核都涉及哪些类型、哪些流程，以及该如何实现：

#

审核类型

内容类型：文本、图片、视频、音频、直播、游戏、广告、互动、个人信息。

审核类型：涉政、涉黄、暴恐、涉赌、侵权、违禁品、广告、辱骂、民族宗教、意识形态等。

#

审核流程

参与对象：发布者、浏览用户、内容审核（一审、二审、质检、管理员等）等。

✔ 用户发送信息流程：用户登录——内容编辑——内容上传——内容展示

✔ 用户接受信息流程：用户登录——内容展示——互动

#

机器审核实现思路

1、文本审核

✔ 将关键词分为：完全禁止（色情、广告引流等）、需审核关键词。通过关键词过滤，检测到比较模糊是否为违规关键词的需要进入人工审核流程。

✔ 关键词的类型分为不同类型进行检测，关键词库做成可配置的方式，以供应对不同的场景。

2、图片审核

✔ 审核类型：图片主体、图片动作、图片文字、图片质量、图片广告（二维码、水印等。

✔ 智能处理：指定目标识别、指定场景识别、指定情节识别、图像分类、图像分割等。

✔ 针对不同的内容，可自行配置图片审核策略。

3、视频审核

视频审核和图片审核的逻辑是一样的，区别在于：

✔ 视频的审核需要先进行截取视频某一帧画面然后再进行图片审核；

✔ 视频还需要进行音频审核。

4、音频审核

音频审核需要重视两个方面：

✔ 音频转文字后，进行关键词内容审核（同文本审核逻辑）；

✔ 对音频动物、喘息声纹进行阈值管理，分为：正常区域、疑似区域、违规区域。

5、限定符

设置字符间可忽略的字符数。例如：“性感”为违规词，为了规避用户可能会用“性1感”，因此在“性感”中间加入限定符以检测。还有正则表达式、乱码、数字乱序等。

#

人工审核实现思路

1、人工审核机制

1）人工审核主要场景：

✔ 平台对于准确率要求极高，需要达到“万无一失”；

✔ 机器转发至人工审核进行二审、三审（系统审核为疑似内容、检测为高危用户等）；

✔ 随机抽样审核。

2）人工任务分配机制：

✔ 内容分发的依据是根据内容类型（图片、文字）分发对应的审核专家；

✔ 分配时间机制：

- 7*24小时审核场景机制

- 优先审核场景机制

2、人工审核系统模块

✔ 账号管理：超级管理员可以通过系统管理人工审核账号，包括开通、删除、权限管理等。

✔ 质检平台：对于人工审核的质量需要进行质检，形式有抽检、交叉审核、复审。内容被人工审核后随即一部分进入交叉审核或者给到专门做二审的部门（KPI不同），若两次审核结果不一致则需复审，复审由更高一级负责人完成。

✔ 人工审核平台：审核人员通过平台对图、文、音、视频进行审核。不同类型前端样式的设计也是不同的。以视频审核页面的配套功能举例，需要有倍速浏览、自动播放等功能。

3、投诉复审和定期巡检

✔ 发布者有申述通道，那么对于人工审核人员中，也需要有对应处理申述的后台。

✔ 对于PV高、评论高、有用户投诉的内容进行定期巡检。

如何？是否感觉类别十分庞杂，流程也让人眼花缭乱呢？如果看到这里，您已深感力不从心，不妨尝试一下知道创宇的一站式内容安全解决方案，能够助您快速、优质完成内容审核系统的搭建。

# 知道创宇一站式内容安全解决方案

1、产品名称：护架卫士（人机协同内容安全解决方案）

2、服务内容：基础内容审核、敏感词库建设、舆情库建设、日常内容巡检、热点舆情分析、综合专项研判报告等。

3、审核类型：

✔ A. 分类情况：12大类数百种精细化分类。

✔ B. 审核大类：涉政、涉黄、涉暴恐、低俗、色情、广告引流等。

✔ C. 审核细项：以涉政为例，可细分至领导人、英雄烈士、落马官员、时政报道、热点舆情、邪教迷信、敏感专项、旗帜党徽、国家地图等。

4、产品套餐：

✔ A. 纯机审（满足中心企业产品不下架的基本需求）

✔ B. 纯机审+人审（准确率较高且性价比最高的解决方案）

✔ C. 纯人审（PGC、UGC大平台首选方案，准确率可达到99.9%）

5、人审工具：智能审核平台（知道创宇自研）

6、人审规模：1000+人

7、团队地址：成都、重庆

# 服务优势

1、涉政敏感词准确率全行业领先

涉政相较于涉黄敏感词，具有更多变种可能，并受地区、政策、组织架构等变化影响。通过海量涉政样本积累，护架卫士已将涉政敏感词机审准确率提升至95%。

2、海量样本库数量庞大

10年内容安全实战经验，为腾讯、金山、京东、今日头条服务，获取大量违规样本。通过舆情监测，实时对境内外全网舆情进行监控收集、风险预判。大量的样本积累、学习，已提取30万+有害/不良/敏感内容样本。

3、国家监管政策实时、全面掌握

✔ A. 每一位内容安全服务人员熟记20余条互联网信息政策、法规。

✔ B. 完善的舆情培训体系，及时调整落实最新监管政策，帮助审核人员以客观的角度，辩证地看待事件本身，不受舆情干扰。

4、超强的应急处理能力

✔ A. 2020年春节疫情期间，某客户平台日常处理量超过平日2.5倍。通过在线培训，知道创宇组织员工居家办公，顺利无误完成保障任务。

✔ B. 2021年春节期间，某客户平台被监管单位通报，知道创宇通过居家办公的方式应急处理了600万的图片+视频，顺利完成审核任务。

建党百年，内容安全

知道创宇，严阵以待

精彩推荐

硬实力！知道创宇入选“2021年中国网安产业竞争力50强”

知道创宇党支部荣获“2020年度首都互联网党建工作优秀品牌”

十三届全国人大会议多项法案与内容安全息息相关

???? 点击阅读原文，了解更多内容安全产品～