3月28日，由国家广播电视总局、中华全国新闻工作者协会指导，北京市委宣传部、光明日报社、北京市广播电视局、北京市新闻工作者协会主办的首届新视听媒体融合创新创意大赛正式公布“媒体融合技术创新”“媒体融合内容创新”“媒体融合模式创新”三大赛道的获奖名单。

其中，“媒体融合技术创新”赛道一等奖获得者为中国科学院自动化研究所白祎铭团队，参赛科目是媒资视频内容AI检索科目。

值得一提的是，相关技术已经运用在了人民中科的核心产品，面向内容安全的跨模态视频搜索引擎——“白泽”上。

那么“白泽”是如何运用这项技术的呢？

01“白泽”的庐山真面目

“白泽”可跨模态实现文本搜图片、文本搜视频、图片搜视频、视频搜视频、图片搜文字、视频搜文字等功能，是探索数字世界的重要工具。

“白泽”的主要功能

基于类脑认知过程的“拷贝-检索-生成” 跨模态智能理解网络，实现了跨模态内容检索、视频内容描述、视频标签和标题生成的一体化解决方案。

“白泽”在综合治理上, 可以在网信、安全等领域，面向互联网内容风控、舆情感知、情报研判、对象管控、目标落查等业务场景，提供对数字世界的事前、事中、事后全生命周期的空间治理解决方案。

“白泽”在政务服务上，可以提供集约化管理、智能搜索、智能问答等应用服务，实现“按需融合”的智能服务体系，帮助提升利企便民体验。

“白泽”在互联网行业，可以提供版权保护、商品监测、监播审核智能风控、智能营销等应用，助力互联网企业实现平台内容统一管控和高效营销管理。

“白泽”在教育行业，可以提供教师课件内容审核、学生课程作业查重审批、校园风险监测及互联网涉校舆情感知等应用，为课程思政和规范教学行为提供智能化手段。

“白泽”在金融行业，可以提供合规风险自查自纠、金融业务智能风控、网络声誉整体感知以及跨渠道内容/产品精准营销等应用，助力金融风险智能管控和业务价值提升。

02“白泽”到底怎么应用呢？

看了那么多，或许大家对“白泽”更多还是停留在理论层面，那么让我来为大家举几个例子，看看白泽究竟是如何应用的。

常言道“造谣一张嘴，辟谣跑断腿”。剔除谣言就是“白泽”的拿手好戏。

去年7月，某市发生疫情期间，有人在社交平台上发布文章称，因为全员检测，造成大量人群聚集，产生了二次疫情传播的风险，并附有视频截图。

为验证真实情况，通过“白泽”将涉事图片和相应文本信息输入检索后，随即得出该图片截取自2021年7月20日NBA总决赛之太阳对雄鹿第六场比赛的场外花絮视频。

正如其名，“白泽”是用来“捉妖”的，其最重要的应用就是在内容安全领域去发现并斩杀各种“妖魔鬼怪”。

其次，“白泽”在知识产权和品牌形象的保护上也可以派上用场。比如一个作者创作了一条短视频发在网上，他怎么判断自己的作品有没有被别人盗用？或者有没有人对其作品剪辑后进行二次传播？这些较为隐秘的侵权问题，通过人工检索、肉眼甄别的传统手段，或者是现有的视频检索技术手段，均难以有效发现。

但是“白泽”不同，它可以通过输入情节的文字描述，并辅以关键帧图片和关键目标，检索出被编辑后的视频内容。无论是镜像翻转，还是改变颜色、对比度、分辨率，无论是分镜重新设计，还是进行片段组合，又或者是插入字幕或台标、重新编码，不管“妖魔”怎么变化，在“白泽”的“火眼金睛”下总是无所遁形。

曾经有一家媒体发现国内短视频平台上有大量盗用其标志作为头像的账号存在，于是该媒体找到人民中科，希望对短视频平台上盗用其标志的账号作一个全面检索。当然，“白泽”非常轻松地完成了任务。

同时，它还是调查研究以及媒体创作的利器。其中最显而易见的，就是全媒体素材库的管理。

比如，某媒体积累了大量的视频素材，但对这些素材进行整理、归类、检索、提取均需要耗费大量的人力，而“白泽”则可以化身为“超级助手”，快速高效地给每个视频都打上成百上千个标签，方便归类、整理、提取、使用。

再比如，在研究金融等领域，将文章、研报等输入后，通过“白泽”可搜索全网最合适的素材，洽谈版权后即可辅助编辑短视频，将枯燥的图文报告转化为更容易传播的短视频等等。

其实“白泽”的应用场景远比想象的更丰富，它的应用场景是全新的，都是人力目前所不能及的领域，在未来有着巨大的想象空间。

　　关于人民中科

人民中科智能技术有限公司，是人民网与中科院自动化所共同发起设立的“人工智能技术引擎”和科技成果转化平台，拥有世界领先的内容理解技术，核心产品是跨模态智能搜索引擎，初始应用场景是数字世界的安全，目标是成为全球内容科技领导企业。