新发布的报告显示：企业快速推广机器学习，但未关注如何验证系统和产出可信结果。

机器学习（ML）和人工智能（AI）系统攻击方法研究呈井喷趋势：过去十年里，仅一个论文库中就发表了近2000篇关于这个主题的论文。但尽管研究众多，企业却并未采取与之相称的策略来确保AI系统做出的决策是可信的。

AI研究公司Adversa近期发布了一份报告，考察AI系统采用情况的一些衡量指标，例如AI系统研究论文的数量和类型，以及旨在提供AI技术政策框架的政府倡议等。Adversa发现，AI技术采用飞速上升，但往往缺乏必要的防御措施，导致AI系统无法抵御针对性攻击。所谓的对抗性AI攻击包括绕过AI系统、篡改结果和渗漏AI模型底层数据。

Adversa联合创始人兼首席技术官Eugene Neelou表示，这类攻击并不多见，但确实发生过，而且以后的发生频率会更高。

他说：“尽管我们的研究语料库大多来自学术界，但其中攻击案例涵盖了针对智能设备、在线服务或科技巨头的API等AI系统的攻击。针对现实世界AI系统的新型攻击爆发不过是个时间问题，此类攻击将会像今天的垃圾邮件或勒索软件一样普遍。”

最近几年，关于机器学习和AI系统对抗性攻击的研究迅速增多。Adversa《安全可信AI》报告的数据显示，科学论文发布网站ArXiv.org上发表的AI安全论文数量从2016年的56篇，激增到了2019年的1500多篇。 

然而，这还只是其中一种威胁。贝利威尔机器学习研究所（BIML）所长兼联合创始人Gary McGraw称，针对AI系统的对抗性攻击可能是规模最大的威胁类型，无疑也是收获关注最多的攻击类型，但其他主要攻击类型也不容忽视。BIML机器学习研究小组发现了78种针对机器学习模型和AI系统的不同威胁。BIML的研究报告《机器学习系统架构性风险分析》中指出，最大的威胁还包括数据中毒、在线系统篡改、通用机器学习模型攻击和数据渗漏。 

去年年底，Mitre、微软和包括BIML在内的其他企业联合发布了对抗性ML威胁矩阵，其中包含16类威胁。

McGraw称：“你应该马上就做的一件事，是熟悉这些威胁，然后考虑这些风险会不会影响你的公司。如果在构建ML系统的时候没有考虑这些风险，那你就只有等着后面各种查缺补漏了。”

图像问题

潜在攻击种类多到令人震惊。不过，截至目前，研究人员主要关注图像识别算法和其他视觉相关机器学习模型。根据Adversa的分析，65%的对抗性机器学习论文都聚焦视觉主题。例如，去年7月，研究人员发现了多种人脸识别算法攻击方式。剩下三分之一的论文则专注分析攻击（18%）、语言攻击（13%）和算法自治（4%）。

Adversa在报告中表示，图像和视频相关算法遭对抗性机器学习破坏的现象之所以普遍，并非因为其他机器学习应用更加安全，而是因为这类攻击本质上更容易被看到。

报告指出：“图像数据是最流行的目标，因为图像数据更容易攻击，也更容易用明显的证据证明AI系统中的漏洞，更有说服力。此外，这也与计算机视觉系统因采用率上升而招致的攻击吸引力有关。”

报告还显示，研究人员专注于数十种应用，其中占比最高的43%是图像分类应用，而人脸识别和数据分析应用分别以7%和6%的占比排在第二和第三位，远远少于列第一位的图像分类应用。

企业应提高AI系统研发所涉全体人员的意识，督促其加强对于机器学习算法的安全和信任考虑。此外，企业还应根据威胁模型执行AI安全评估，实现对AI系统的持续安全监测。

Adversa AI的Neelou表示：“企业应启动AI安全计划，并制定适用于安全AI生命周期的操作规程。无论是开发自己的AI，还是使用外部AI功能，都应该这么做。”

除此之外，公司应该全面审查影响其机器学习系统使用的各种威胁。如果能够全面考虑AI威胁，公司将不仅可以更好地应对未来的攻击，还可以有效避免粗制滥造的AI和机器学习系统产出糟糕的业务决策。

考虑得越周全，大家得到的好处越多。

Adversa《安全可信AI》报告：（戳阅读原文直接查看）
https://adversa.ai/blog/adversa-releases-secure-and-trusted-ai-report-with-exclusive-retrospective-trends-predictions/

关键词：人工智能（AI）；机器学习（ML）；图像识别；

▶ 相关文章

• 警惕忽悠：AI在安全行业中的应用并非真正的人工智能
  

• SD-WAN进化路径：整合网络、安全与人工智能
  

• 趋势科技：AI将在2030年替代网络安全人员
  

• 生物识别+设备信息的跨模态身份攻击