机器学习算法易受攻击？阿里“安全基建”这样应对AI的不安全
source link: https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/107420651
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
出品 | AI科技大本营（ID:rgznai100）
数字基建的浪潮之下，诸多行业领域都在加速融合5G、大数据中心、AI等新技术，向数字化转型。近日，多位全国政协委员、院士和安全行业专家提出，应尽快出台安全基建国家标准，让数字化程度高、安全技术能力强的企业充分发挥作用，把它们在不同应用场景中沉淀的安全能力推广应用。
今年3月底，阿里发布了数字基建新一代安全架构，其核心理念就是安全基建。安全基建主打事前、事中的建设防护，目的是为各类App和网站等数字经济实体的搭建过程建立标准化流程，确保数字经济实体在建设之初就运行在较高安全基线上。
阿里安全首席架构师钱磊介绍， 安全基建概念的提出，解决的是数字经济实体搭建的“安全施工标准”问题，内容涵盖软件供应链安全、技术和业务漏洞检测、隐私与内容风险检测、应用可信等多个维度。
如果说，强调生产要素标准化的安全基建层，是让数字经济实体具备了免疫能力。安全运营层则通过决策引擎，让风险从事后发觉处置走向了事前的态势感知。以风控分析师、安全策略师和风险运营师为代表的安全专家，通过海量数据分析，寻找规律并定义策略，从多个维度感知对抗威胁，并进行应急响应。
安全技术层是整个安全体系的基石。由攻防技术、数据安全技术、密码学、算法等安全技术构建的安全技术矩阵，是新一代安全架构的能力“底座”。
这里就不得不提到技术效率的问题。在钱磊看来，安全发展到最后，其实是一个效率问题。“ 即便是什么都能做，但是假如一整套安全模型走下来，需要10分钟，那么这个安全体系同样是垃圾。 ”
“我们可以把网络空间安全建设比喻成修建城墙。城墙是为了抵御外敌，但城门则是为了让人们顺畅同行。在进入城门的人群知中，如何识别潜伏在好人中的坏人，如何去识别坏人，这就是安全算法层面要解决的问题，只有不断的沉淀精准识别模型算法，才能真正的提高技术效率，做到让好人一路绿灯让坏人寸步难行。”
安全AI技术作为安全技术矩阵中的一环，显然就是提高“城门通行效率”的核心能力。
去年12月，阿里安全提出“安全AI”概念，指出安全和AI是互相促进的有机体。一方面，AI技术应用在安全领域，可以让安全能力更智能；另一方面，安全技术应用在AI领域，可以让AI能力更可靠。阿里安全认为，安全技术在经历了专家运营阶段、数据智能阶段后，已经迎来的安全AI阶段。在安全AI阶段，更多的安全识别、决策、处置等关键动作将主要依靠AI来实现。
要想让AI安全地“卖力”，技术人需要付出巨大努力。不容忽视的一个关键问题是，如何解决AI算法模型鲁棒性不足、易受攻击的特性？
目前，阿里安全正在做的是， 主动挖掘机器学习算法的安全漏洞，以期构建更加安全和可信的AI系统，并发展新的机器学习算法，逐步将AI的安全问题体系化、标准化。
当然，阿里安全并不是独自在战斗。来自全球的庞大开发者群体也在用各种方式协同作战，来提升机器学习算法的安全性和可靠性。
为了发现AI领域中目标检测模型的脆弱性、为此领域的工作者敲响警钟。近期，阿里启动了安全AI挑战者计划第四期，是全球首个结合黑盒白盒场景，针对多种目标检测模型的对抗攻击竞赛。
与前三期重在算法领域深耕不同，新一期计划实现AI算法和网络安全的融合，打破行业ML/DL一家独大的情况，引领AI技术在落地时一定程度上结合传统技术，运用多种技术组合解决业务问题，更好的抵御深度学习时代的安全问题。
据介绍，比赛采用COCO数据集，其中包含20类物体。任务是通过向原始图像中添加对抗补丁（adversarial patch）的方式，使得典型的目标检测模型不能够检测到图像中的物体，绕过目标定位。
为了更好的评价选手的攻击效果，大赛创造了全新的得分计算准则。除了加入攻击成功率之外，我们还对添加补丁的数量和大小进行了约束。选手添加的补丁数量、修改的像素和模型识别到的包围盒越少，则代表攻击更加成功，得分则越高。为了保证比赛难度，大赛选取了4个近期的State-of-the-art检测模型作为攻击目标，包括两个白盒模型——YOLO v4和Faster RCNN和另外两个未知的黑盒模型。
从技术难度看，目标检测攻击要求对目标的类别、未知等信息同时进行攻击，问题的复杂度更高也更有挑战；另外，本次竞赛采用了全新的设定，允许参赛这通过多块patch对目标进行攻击，进一步提高了问题的挑战性。此外，也鼓励参赛者能够发挥自己的创造性，提出有价值的解决方案。
总之，他们希望从实际业务出发，通过场景、技术、数据、算力、经验等支持，帮助更多的安全爱好者在数字基建浪潮的多元复杂场景中得到磨练，具备真正的安全能力。
最后放出大赛链接，感兴趣的开发者可以报名： http://suo.im/6cVz5w
推荐阅读
你点的每个“在看”，我都认真当成了AI
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK