360AI安全风险白皮书:人工智能图片识别易被降维攻击
作为人工智能技术的重要分支,图像识别技术在众多领域一直受到广泛关注,然而不为人知是这项技术背后其实隐藏着一定的安全风险。日前,360安全研究院发布《AI安全风险白皮书》,白皮书中指便出360安全团队发现在图像识别深度学习的数据处理流程中存在安全风险。攻击者在不利用平台软件实现漏洞或机器学习模型弱点的情况下,只利用深度学习数据流中的处理问题,就可以实现逃逸或数据污染攻击。
相信许多人都听说过,人工智能深度学习系统的核心是神经元网络。通常情况下,图像识别深度学习使用的静态神经元网络会假定自己的输入是一个固定的维度。但是,实际情况却是:实际的输入并不一定与神经元网络模型输入具有相同的维度。
图1:通常情况下,原始图片会经过维度调整,深度学习系统才能识别其信息
要解决这一问题的方法有两种,一种是对输入的维度进行强行限制,另外一种方法是对输入进行维度调整。比如在图像识别应用中,深度学习系统会将大的输入图片进行维度缩减,小的图片进行维度放大,采用的算法包括最近点抽取和双线性插值等。这种处理的目的就是对图片降维的同时尽量保持图片原有的样子,以确保深度学习系统做出正确的判断。
但是,上述的情况非常理想化。在实际中,这些常用的降维算法并没有考虑恶意构造的输入。也就是说:攻击者可以事先对输入进行特殊构造处理。经过处理后,降维函数会输出异常的结果。
下面这组图片就是攻击者针对最常用的双线性插值构造的恶意攻击样本,虽然原始输入是一张羊群的图片,但是经过降维处理后,图像识别系统会将其误判为一只雪地里的白狼;虽然原始输入是一只卡通小羊,但图像识别系统会将其误判为一只可爱的小猫。
图2:降维处理后,图像识别系统可能输出谬误严重的结果
再比如下面这组实例,一些对于人来说很清楚的数字,深度学习系统却会误判。下面显示了了四组图片,每一组中,左边是对应用的输入,也就是人看到的图片;右边是人看不到,但是被机器学习模型最后处理的图片。
图3:降维算法可能让深度学习系统出现严重误判
根据360安全研究人员的分析:几乎所有网上流行的深度学习图片识别程序都有被降维攻击的风险,解决方法包括对人工过滤异常图片、人工对比识别结果,以及采用更为健壮的降维算法等。对此,白皮书特别强调:人工智能安全问题不容忽视,360安全研究院希望公众在拥抱人工智能热潮的同时,也能持续关注深度学习系统中的安全问题。
相关阅读
最新文章
随机推荐
- 中山尚洋科技:拓宽可持续发展思路 高调进军“新三板”创新层
- 商汇app是什么
- 新零售趋势下 电商宝开启2017新征程
- 360AI安全风险白皮书:人工智能图片识别易被降维攻击
- 2017年网易进军微商,招募网易考拉微店主,丁磊也开启了互联网+模式
- 去逛街网积极推广中国优秀民族品牌产品传承
- 第四届世界互联网大会今天开幕
- 全国首家移动互联网线下体验中心正式成立,引领移动互联网新时代
- 玩转直播创美星秀无疑是你最佳选择
- 2017安徽“互联网+”创业节正式启动
- e兼职完善企业兼职体系 弹性用工进行时
- APP互联网娱乐电视3月1日隆重上市
- 氚云荣获阿里钉钉四星定制开发服务商
- 速店,专为生鲜零售企业打造的云ERP
- 大连宽带安装,大连联通光纤宽带全民100M
- 保千里彼图恩科技“机器人 餐饮”模式破行业魔咒
- 禧鸿泰
- APP趣纷,为您定制缤纷生活、多彩明天!让我带你飞~
- 阿里云代理选什么?要选就选凯铧互联
- 鲜先网速店将亮相第十届中国信息化行业大会
最新评论
更多评论