中华视窗是诚信为本,市场在变,我们的诚信永远不变...
视频创作者通常会抱怨:“为什么我周三上午上传的视频,还一直在审核中,怎么审核过得这么慢?”
当前,对于UGC、PGC视频创作者而言,最关心的莫过于自己产出的视频内容什么时候可以快速过审上线,如果能达到秒级发布就更好了。
而视频平台的视频审核员,面对的却是各类海量视频内容,其中不乏暴恐、涉政、辱骂、低俗、敏感词等违法违规视频内容,有限的人力审核远远不足以满足创作者的即发即审、即审即过。
这是一种典型的供需关系不平等的发展现象,由于供不应求,不仅会引发一系列的问题,还会在视频平台和视频创作者之间造成矛盾关系,而一旦出现审核出错、失误的情况,也会直接引发用户的强烈不满,最终也将导致视频平台对与优秀UGC、PGC作者人群的重度流失,最为严重将导致视频平台的下架、关停。
数美科技人工智能研究院长期深耕大数据AI技术的研发创新,针对各类用户视频审核难、审核慢等一系列的问题,数美科技人工智能研究院对“视频审核”的工作流程、AI视频审核技术开发、解决方案等方面进行了深入的研究与探讨。
视频审核发展现状
最初的视频审核工作流程是先发布后审核,新兴视频平台鼓励用户自由创作各种视频内容,但是随着UGC内容创作的越发丰富,视频审核平台面临的视频审核挑战也在不断升级。
同时,来自国家网络监管部门要求的色情、涉政、违禁、暴恐、敏感词等内容和损害平台自身利益的广告导流等无疑加大了审核压力。因此UGC内容的形式多样性给内容审核过滤带来很大难度,尤其是视频非结构化数据的内容识别的高难度,传统的敏感词匹配方式很难有效识别风险内容。
以某大型短视频平台云飞(化名)为例,公司现有1000名审核员,需要24小时不间断对视频进行审核,对于每天上千万条巨额待审视频作品,公司不得不加大扩招力度,再招审核人员3000人。
审核流程及规则
一般情况下,云飞会设置七大平行审核部门,兼容初审和复审。创作者每天在云飞后台上传的视频会被同时发送这七大部门交叉审核,部门的视频审核员会遵照审核规章制度开始每天的重复、冗长的两班倒工作制。
因为审核需要24h不间断,平均每人每天需要审核4000左右个视频,人力成本浪费巨大。
其中,在初审主要依据视频内容和质量进行安全审核操作(首页推荐、不上热门、删除、封禁等)。例如,国家政府机关对于视频平台提出的一系列违法违规内容明文禁止的准则条例,是审核规则的“红线”,其次便是一些客观的软性规则,如清晰度和限流要求。
复审除了对初审通过的内容进行再次核查,还会控制各类内容的流量获取,即把控产品调性。而在复审过程中,过审的视频会获得一些随机流量,云飞也会根据品牌调性挑选适合运营的视频内容发布在各类社区下面。发布之后,内容优质的视频获取的流量也会越来越多。
审核难度及需求
从根本上来看,UGC内容的形式多样性给视频内容审核过滤带来了很大难度,尤其是图片、视频、语音等非结构化数据的内容识别难度很高,传统的敏感词匹配方式很难有效识别风险内容,现阶段还在依赖人审。
视频审核场景痛点
审核工作的主要目的是筛选出涉政、暴恐、枪击、低俗等违法违规的内容,但是面对海量视频,长时间的依赖人力审核,难免会有一些易忽略的地方,例如变异字体、垃圾广告导流、二维码/logo/无意义灌水等违规内容,只靠肉眼很难识别。
视频审核一旦因为“漏审、误审、错审”发布了严重且恶劣的违规内容,对视频平台的打击将是“致命”的。所以人审的难度也在不断扩大,对于云飞来说,只能通过大量扩招视频审核人员来解燃眉之急。
视频审核应用技术
数美科技人工智能研究院发现,从技术端来看,视频审核是一种综合性较强的审核模式,它不仅包括文本识别、图像识别、音频识别,在直播场景下,还涉及在线实时视频审核。而这种复合型视频审核方式也是AI技术可智能替代人审最直接、最高效的途径。
通过AI技术进行智能视频内容识别,并添加智能标签进行直接分类,这种结果呈现给视频审核人员,不仅能够大力减少视频平台的人力成本,还能大量减少不必要地重复性审核工作。而利用提供API调用接口和可视化Web审核后台的智能视频过滤,可以在趋势分析中查看风险内容的趋势,在历史记录中查看筛选内容详情,在名单服务中自定义添加和管理敏感内容。
因此,想要实现以上功能,对于智能视频审核的系统架构完整性、技术参数精准度等方面要求较高。
智能视频过滤系统架构
数美科技人工智能研究院认为,该架构理应采用模块化程序设计方法,既便于系统功能的各种组合和修改,又便于未参与开发的技术维护人员补充、维护。尽量采用现有软硬件环境,及先进的管理系统开发方案,从而达到充分利用现有资源,提高系统开发水平,来达到应用效果的目的。
智能视频过滤系统架构
如上图所示系统主要包括以下几个模块:
1、接入层:负责请求接入的逻辑,包括参数合法性校验、权限验证等;
2、业务逻辑层:负责对视频做解复用、解码等处理。
3、策略层:通过内置的规则模块,结合基础引擎给出的特征,判断视频是否违规,支持内置规则动态调整;
4、引擎层:各种不同的内容识别引擎通过深度学习模型进行内容检测;
5、模型层:存储数亿级视频、图片、文本、语音训练样本;
6、AI智能平台层:基于等深度学习技术,在高性能GPU服务器上,利用存储引擎中千万级样本训练大规模深度学习模型。
核心优势
基于图片深度识别引擎、语音识别引擎、文本检测模型以及视频语音编解码技术,精准识别视频中内容、语音、字幕涉黄、涉恐、政治敏感内容、欺诈广告等违规违法内容彻底解放该部分人工审核。
智能视频过滤方案理应具备以下核心优势:
1、精准识别视频内容风险:能够识别视频中色情、性感、政治人物、政治事件、暴力恐怖、广告水印、二维码等风险;
2、识别维度广:可同时对视频画面、语音、标题字幕进行识别;
3、海量数据样本:基于海量网络数据,搭配多种机器算法模型,通过多种模型组合训练,精准识别各类违规视频,每日上亿次的图片语音文本处理能力,让模型迭代更快速高效,更加高效处理各类违规视频;
4、标准灵活策略定制:支持自定义审核维度,根据行业特性提供专属视频识别策略,让审核标准更贴合实际业务场景;
同时,智能视频过滤API延迟与吞吐、召回率与准确率,也是视频过滤审核技术实力的重要指标。现阶段,数美科技智能视频过滤API最大响应时间1s,超时率低于0.01%,智能视频处理实时率可达到30%,而智能视频过滤API最大支持并发100路处理任务,还可根据需求水平扩展,召回率、准确率均高于90%,并支持视频格式MPEG、AVI、MOV、WMV等。
AI可替代视频审核方向
从现阶段的AI智能视频审核实力上看,数美科技人工智能研究院发现,完全依赖人审/机审并不能完全满足不同视频平台的各类审核要求。尤其对于大型直播平台,相较于视频创作平台来说,审核要求和审核方式的多样化与标准度维度更高。
数美科技人工智能研究院通过深入的算法研究,并结合各类视频审核的落地场景进行技术分析,发现能够解决以上问题且最直接有效的方法就是高效利用“人审+机审”的审核方案。
用AI替代一部分不必要的人审工作,更能达到事半功倍的审核效果。
视频流内容审核方案
数美科技人工智能研究院认为,除了通用型智能视频过滤产品架构,AI可替代人审还包含以下三个方向:
智能文本过滤通过建立完善用户画像系统和特色智能语义分析功能,结合多场景、多维度判定,支持涉政违禁、色情污秽、广告导流风险识别,识别准确率高达99%以上即可对文本进行快速处理,明显降低误杀率,减少人工审核成本,杜绝线上风险。
智能图片过滤采用基于深度学习的图片识别技术和基于画像的用户行为分析技术,构建强大的图片识别引擎,精准识别图片中涉黄、涉恐、政治敏感内容、欺诈广告等违规违法内容彻底解放人工审核,可极大提升产品用户体验。
智能音频过滤采用基于的音频信息动态转码技术、基于深度学习的语音识别技术和智能特色语义分析技术,能够对绝大部分音频格式进行多场景、多维度地检测与识别。其中包括涉政、涉黄、广告导流等诸多类型。高准确率的产品识别效果,可极大降低人工审核成本,提升音频内容质量。
数美科技是一家全球领先的专业提供AI在线业务风控解决方案提供商,尤其在视频审核领域,在智能图像、智能音频、智能图片、智能文本过滤等方面具备高精准技术实力,具有多年丰富的实践经验,且长期服务于全球数百家大型视频、直播平台,在未来,我们将持续深耕视频审核领域,护航全球客户在线业务不断增长。