清华、阿里、RealAI 发布首个公平、全面的 AI 对抗攻防基准平台

蓝天二号

6 月 3 日，清华大学联合阿里安全、RealAI 发布了首个公平、全面的 AI 攻防对抗基准平台，该评测基准基于清华大学在 2020 年 GitHub 开源的 ARES 算法库，平台致力于对 AI 防御和攻击算法进行自动化、科学评估。AI 模型究竟是否安全，攻击和防御能力几何？只需提交至该平台，就可见能力排行。

▲ 图 | 中科院院士张钹（左二）、清华大学教授朱军（左三）、阿里巴巴安全部技术总监薛晖（右一）、RealAICEO 田天（左一）

想象一下，如果街道上自动驾驶的汽车因 AI 视觉系统受到 AI 算法诱导攻击，而引发行驶轨迹发生改变；或者有人通过 AI 技术模仿出跟你熟悉的亲朋好友一模一样的声音，找你借钱；亦或是家里的 AI 智能设备遭遇黑客入侵；甚至物联网更加智能的未来社会，有人植入 AI 智能心脏辅助设备也遭遇攻击，引发宕机，这些后果将会怎样？

清华大学计算机系教授、RealAI 首席科学家朱军就指出，尽管人工智能技术取得长足进步，人工智能算法的安全性仍存在严重不足，对智能技术的应用带来较大的安全隐患。

从源头保障 AI 模型安全
“就像打仗一样，攻击者可能用水攻，也可能火攻，还可能偷偷挖条地道来攻打一座城，守城的人不能只考虑一种可能性，必须布防应对许多的攻击可能性。”参与该评测基准平台设计的阿里安全高级算法专家越丰这样比喻。

尤其要关注恶意攻击者对数据或样本进行“投毒”，故意影响 AI 模型的攻击行为。

UIUC（伊利诺伊大学）计算机科学系教授李博认为，机器学习在推理和决策的快速发展已使其广泛部署于自动驾驶、智慧城市、智能医疗等应用中，但传统的机器学习系统通常假定训练和测试数据遵循相同或相似的分布，并未考虑到潜在攻击者恶意修改两种数据分布。

这相当于在一个人成长的过程中，故意对他进行错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，通过攻击训练引发 AI 系统产生错误判断。好比是从 AI“基因”上就做了改变，让 AI 在训练过程中按错误的样本进行训练，最终变成被操控的“傀儡”，只是使用的人全然不知。

“深入研究潜在针对机器学习模型的攻击算法，对提高机器学习安全性与可信赖性有重要意义。”李博指出。

之前的研究者在衡量模型的防御性能时，基本只在一种攻击算法下进行测试，不够全面。攻击算法是经常变化的，需要考虑模型在多种攻击算法下和更强的攻击下的防御能力，这样才能比较系统地评估 AI 模型的防御能力。

再加上业界此前提出的各种“攻击算法排行榜”只包含一些零散的算法，测量攻击算法的环境只包含单一的防御算法，用于评测的数据集也不多，并没有合适的统计、度量标准。

阿里巴巴安全部技术总监薛晖表示，参与推进这项研究工作，除了帮助 AI 模型进行安全性的科学评估，也是为了促进 AI 行业进一步打造“强壮”的 AI。

构建 AI 对抗攻防领域标准测试平台

为解决上述问题，近日，清华大学、阿里安全、RealAI 三方联合提出深度学习攻击防御算法及评测的基准平台。

不同于之前只包含零散攻防模型的对抗攻防基准，此次推出 AI 对抗安全基准基本上包括了目前主流的人工智能对抗攻防模型，涵盖了数十种典型的攻防算法。不同算法比测的过程中尽量采用了相同的实验设定和一致的度量标准，从而在最大限度上保证了比较的公平性。

除此之外，本次发布的 AI 安全排行榜也包括了刚刚结束的 CVPR2021 人工智能攻防竞赛中诞生的排名前 5 代表队的攻击算法。此次竞赛吸引到了全球 2000 多支代表队提交的最新算法，进一步提升了该安全基准的科学性和可行性。

“通过对 AI 算法的攻击结果和防御结果进行排名、比较不同算法的性能，建立 AI 安全基准具有重要学术意义，可以更加公平、全面地衡量不同算法的效果。”朱军介绍道。


▲ 图说：AI 算法的攻击结果和防御结果进行排名，实现不同算法性能的比较

“该基准评测平台利用典型的攻防算法和 CVPR 2021 比赛积累的多个性能优越的算法进行互相评估，代表当前安全与稳定性测量的国际标准。”RealAI 副总裁唐家渝说。

越丰认为，该平台的发布对工业界和学术界都能带来正面的影响，比如工业界可以使用该平台评估目前 AI 服务的安全性，发现模型的安全漏洞。同时，也可为学术界提供一个全面、客观、公平、科学的行业标准，推动整个学术界在 AI 对抗攻防领域的快速发展。

清华方面介绍，本次发布的 AI 安全基准也是依托清华大学人工智能研究院研发的人工智能对抗安全算法平台 ARES（Adversarial Robustness Evaluation for Safety）建立。ARES 作为古希腊神话中的战神，双手持矛和盾是攻防合一的化身，集中体现了 AI 安全算法攻防博弈的特点。该平台对主流的攻防算法实现了模块化的设计，支持数十种主流攻防算法的实现，可以方便研究者和开发人员进行使用，有助于推动 AI 对抗攻防领域的发展。

清华大学、阿里安全、RealAI 三方强调，该基准评测平台不是专属于某一家机构或者公司搭建的平台，需要工业界和学术界的共同参与才能把它打造为真正受认可的全面、权威的 AI 安全评估平台。因此，三方将联合不断在排行榜中注入新的攻击和防御算法，并且欢迎学术界和产业界的团队能提供新的攻防模型。

“数据对于 AI 发展非常重要，通过对于不同攻击和防御算法统一全面的对比，相信这次的平台可以为机器学习模型的安全与稳定性验证提供更全面的支持，并为进一步设计开发新的安全、强壮的学习算法提供有力的技术背书。”李博说道。

cfdiyr

这应该是为未来做打算。至少这些技术现在还没有大规模在民用领域商用。

★心空☆

这个没见过，应该需要很多硬件。

屋里头

感觉是把安全软件换成高端的名字了。前几年主推大数据，然后各种APP更加疯狂收集用户数据。   多炒炒也行，把网络安全类股票和基金抬上去