人工智能权衡:准确性还是稳健性?

2019年01月30日 作者:糖悦之果飞

东京 - 任何准备根据其准确性选择AI模型的人都可能想再考虑一下。根据IBM Research的研究,一个关键问题是AI模型对敌对攻击的抵抗力。

与其他研究机构合作的IBM研究人员正在发表两篇关于AI漏洞的新论文。一项研究的重点是如何证明AI对抗对抗性攻击的稳健性。另一个检查了测试已部署的AI模型的弹性的有效方法。

当然,准确性是人工智能的圣杯。如果计算机无法击败人类,为什么要打扰AI呢?实际上,人工智能识别图像并对其进行分类的能力在过去几年中得到了极大的改善。正如2010年至2017年期间ImageNet竞赛结果所证明的那样,计算机视觉已经超越了人类的能力。AI在数据集中对对象进行分类的准确性在短短七年内从71.8%跃升至97.3%。

大大小小的公司都使用ImageNet作为针对数据集的图像分类算法的基准。赢得ImageNet竞赛已经赋予了AI算法优势的吹嘘权。

稳健性差距

然而,科学界已开始关注最近的研究,强调训练有素的深度神经网络与对抗性实例之间的稳健性差距。

去年夏天,包括IBM研究院,加州大学戴维斯分校,麻省理工学院和JD AI Research在内的一组研究人员发表了一篇题为“稳健性成本是否准确? - 18种深度图像分类模型鲁棒性的综合研究。“

研究人员告诫说,IBM的Thomas J. Watson研究中心AI基金会的研究人员Pin-Yu Chen表示,“仅仅追求高精度AI模型可能会让我们陷入困境。”该团队的基准测试18 ImageNet模型“揭示了在准确性和稳健性方面的权衡。”

由于AI模型的脆弱性,MIT-IBM Watson AI Lab的研究人员,包括陈,在本周提交了一篇新论文,专注于AI稳健性认证。“就像带有防水数字的手表一样,我们希望提供一种有效的方法来证明卷积神经网络[CNNs]的抗攻击水平,”陈说。

为什么这很重要?这样做是因为对自然图像的视觉上无法察觉的扰动会误导图像分类器向错误分类。陈说:“考虑使用AI的安全关键设置。”使用AI的自动驾驶汽车应该很容易识别停车标志。然而,当附近光源的标志上出现轻微的视错觉时,自动驾驶汽车将停车标志视为限速标志,陈说。“在这种情况下,光源已成为典型的对抗性例子。”

随着神经网络被教授更多图像,它会记住它需要分类的内容。“但我们并不一定期望它强劲,”陈说。“准确度越高,它就越脆弱。”

对于安全至关重要的自动驾驶汽车,验证分类稳健性至关重要。

目前可用的技术通常仅限于认证小规模和简单的神经网络模型。相比之下,IBM-MIT联合团队找到了一种方法来证明广受欢迎的一般CNN的稳健性。

据Chen介绍,该团队提出的框架可以“处理各种架构,包括卷积层,最大池层,批量归一化层,残余块以及一般激活函数”。陈说:“我们已经创建了针对CNN优化的验证工具。”我们已经创建了针对CNN优化的验证工具。该团队的目标是“向你保证对抗性攻击无法改变人工智能的预测。”

陈还指出,对抗性的例子可以来自任何地方。它们存在于物理世界,数字空间以及从图像和视频到语音和数据分析的各种领域。新开发的认证框架可以应用于各种情况。他解释说,从本质上讲,它旨在提供“独立于攻击和模型不可知”的指标。

该团队还声称其CNN认证框架具有计算效率。据IBM Research称,它利用卷积层的特殊结构,报告“与最先进的认证算法相比,速度提高了10倍以上”。

Chen告诉我们,“我们已经评估了每个层的输入和输出关系,以创建一个快速,可认证且通用的矩阵。”

攻击黑盒神经网络?

Chen也是另一篇论文的作者之一,该论文主要关注一种更有效的AI稳健性测试方法,特别是在“黑盒”神经网络中。

不难想象有恶意的人 - 他非常熟悉AI模型 - 会发现系统的弱点并利用其漏洞来制造攻击。这属于在“白盒”设置中生成的对抗性示例。

但假设您已经拥有一个即将使用服务提供商部署的自我培训的AI /机器学习系统。这可能会产生虚假的安全感,因为很少有参与者可以访问底层的AI模型,更不用说了解它是如何工作的。您可以假设在“黑盒子”设置中操纵和攻击AI模型需要太多耗时的模型查询,这使得攻击极不可能。

陈某告诫说,你这样做是错的。IBM Research和密歇根大学最近开发了一种测试AI系统的新方法 - 可能已经部署 - 以确定它们对抗攻击的脆弱性。

Chen解释说,这种新方法命名为AutoZOOM,或基于自动编码器的零阶优化方法,提供了一种“实用场景”,可以在黑匣子环境中攻击AI模型。

正如陈解释的那样,在一个“白盒子”世界中,攻击者可以利用AI模型架构的知识和推理的模型权重来开发对抗性的例子。在黑匣子版本中,攻击者的选择是有限的。攻击者只能访问已部署的AI模型的输入 - 输出响应,就像常规用户一样(例如,上传图像并从在线图像分类API接收预测)。因此,攻击者必须采用蛮力方法,发送大量模型查询来制作对抗性示例。

陈先生解释说,使用先前开发的Zeroth Order Optimization(ZOO)方法,需要100多万个模型查询才能找到对抗的百吉饼图像。他指出,使用新设计的AutoZOOM框架,只需要成千上万的查询。

AutoZOOM中使用的两种新技术包括:1)“减少查找对抗性示例的复杂性并减少对黑盒AI模型的查询次数”的方法,以及2)“仅使用a引导生成对抗性示例的技术”根据IBM Research的说法,在攻击过程的每次迭代中都很少有模型查询。您可以使用“自动编码器,可以使用未标记的数据离线训练,也可以使用双线调整大小操作来加速”。

Chen称AutoZOOM是一种测试AI模型稳健性的实用方法。“您可以将此方法应用于已部署的AI系统,以查看它是否健壮。”

实际上,在“机器学习即服务”变得越来越普遍和普及的时候,评估人工智能的稳健性是必要的。这种服务旨在使用户能够轻松访问功能强大的机器学习工具,以执行各种任务。

商业服务包括Google Cloud Vision API和Clarifai.com,旨在为公众提供训练有素的图像分类器。用户可以以低价格上传并获得手头图像的类别预测结果。“然而,现有和新兴的机器学习平台及其低模型访问成本引发了越来越多的安全问题,因为它们提供了一个测试恶意企图的理想环境,”AutoZOOM报告的作者警告说。“更糟糕的是,当这些服务用于构建派生产品时,风险可能会被放大,以便攻击可以利用固有的安全漏洞。”

正如IBM研究院人工智能副总裁兼IBM Q的Dario Gil 去年在DAC发表的主题演讲中所解释的那样,狭义人工智能与更广泛的人工智能(以及最终的通用人工智能)之间的关系“仍然相当遥远。”仍然必须受到攻击的关键人工智能研究领域包括公平性,可解释性和血统。陈说,人工智能的稳健性是第四支柱。

这两篇论文提醒人们,使用AI,训练数据可能会产生噪音和偏差。没有人完全理解并且可以解释神经网络如何学习预测。神经网络架构可能是多余的,并导致脆弱点。黑匣子系统可能很强大,但拥护者不能对其对抗攻击的潜在脆弱性视而不见。

PS:上面提到的两篇论文都是在本周在檀香山举行的AAAI 2019人工智能会议上进行口头报告。

热门推荐:

恩智浦LPC54018物联网模块OM40007,让你的方案更快落地

德州仪器MSP-EXP430FR2355 LaunchPad开发套件,让设计开发简单直观

Microchip Technology SR087电源演示板,开关电源新选择

博世BMI088高性能IMU,和你一起改善飞行和导航体验

罗姆半导体SensorShield-EVK-003评估套件,一块“有种有料”的板子

Intel RealSense深度摄像头D400系列“更便捷的秘密”的等你来发现

Analog Devices EVAL-ADXL362评估板给开发设计者更多选择

Cypress Semiconductor PSoC6 BLE开发套件,美好的设计即将发生

STMicroelectronics VL53L1X飞行时间测距传感器,绝对测距无惧颜色和反射

NXP i.MX 8MQuad评估套件MCIMX8M-EVK ,一款开箱即用的高性能开发工具

英飞凌IM69D120和IM69D130 XENSIV MEMS麦克风,为低失真和高信噪比而设计

原文地址:https://www.eeboard.com/news/ai-357/

搜索爱板网加关注,每日最新的开发板、智能硬件、开源硬件、活动等信息可以让你一手全掌握。推荐关注!

【微信扫描下图可直接关注】

 

相关文章

  • 选对了电路设计方案,确保工业机器人安全可靠

    工业自动化 (IA) 的增加,特别是工业机器人的使用,增加了操作人员与其他移动设备或移动机器的部件之间发生意外交互的机会。设计人员有责任采取适当的、通常是重叠的安全预防措施,以免造成生产中断、人员受伤甚至死亡等事故。 虽然安全是最重要的,但设计师在设计时还必须密切关注初始成本和总拥有成本。
    2019年07月19日
  • 越挫越勇,目前AR行业所遇到的困境非常有必要

    工欲善其事必先利其器,增强现实应用的开发人员正在遭遇工具掣肘的折磨。其实,不独独在AR方面,在其它任何领域,人们都会受到可以使用的工具能力的限制。你尽可以放飞自我,想出天马行空的鬼点子,但是你使用的工具会影响工作内容的质量和可以达到的边界,限制你可以构建和实现的成果。 增强现实在工业中的应用目
    2019年07月19日
  • 机器人的未来是在边缘计算还是在传感器?

    无论是传统的工业机器人系统,还是当今最先进的协作机器人(Cobot),它们都要依靠可生成大量高度可变数据的传感器。这些数据有助于构建更佳的机器学习(ML)和人工智能(AI)模型。而机器人依靠这些模型变得“自主”,可在动态的现实环境中做出实时决策和导航。 工业机器人通常位于“封闭”环境中,出于安
    2019年07月19日
  • 令人唏嘘:日本在AI领域将被世界淘汰

    作为日本首富,软银创始人孙正义最成功的投资反而是中国的阿里巴巴、滴滴等公司,在日本国内却没有什么像样的互联网企业,孙正义联合沙特等石油国家高的千亿愿景基金主要投资目标也是中国、印度、美国等国家。 外媒报道,本周四在软银公司的年度会议上,孙正义表示“直到最近日本都是技术领先的国家,但在最重要的技
    2019年07月18日
  • Arm中国“极术社区”正式发布,打造AIoT开发者之家

    2019年7月18日,中国上海——今天,在上海举行的2019第二届Arm人工智能开发者全球峰会上,Arm中国正式发布了由其发起的“极术AIoT开发者社区”(www.aijishu.com)。该社区由Arm中国携手中国领先的中文技术交流平台思否(SegmentFault)以及Arm中国生态重要合作伙伴
    2019年07月18日
tracer