CARLA-GEAR: 为视觉模型对抗鲁棒性系统评估的数据生成器

2 years ago

source link: https://www.51cto.com/article/742691.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

CARLA-GEAR: 为视觉模型对抗鲁棒性系统评估的数据生成器

作者：黄浴 2022-12-20 10:58:49

本文介绍CARLA-GEAR，这是一种自动生成照片真实感合成数据集的工具。

arXiv论文“CARLA-GEAR: A Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models“，22年6月，意大利。

本文介绍CARLA-GEAR，这是一种自动生成照片真实感合成数据集的工具，可用于系统评估NN对物理对抗patches的对抗鲁棒性，比较不同对抗防御/检测方法的性能。该工具构建在CARLA模拟器上，用Python API在自动驾驶环境中为多个视觉任务生成数据集。生成的数据集包含的对抗patches贴到广告牌或卡车后部，并通过最先进的白盒（white-box）打击策略制作，最大限度地提高测试模型的预测误差。

最后，本文提出一项实验研究，评估某些防御方法对此类破坏的性能。所有代码和数据集在http://carlagear.retis.santannapisa.it.

如图说明一些代表性驾驶场景：考虑到城市场景中可能会放置对抗性patches（例如，在广告牌或卡车上）和可选一个对抗性patch，CARLA-GEAR将这个parch附着在选定的表面上，并在场景周围迭代放置车辆和附加的摄像头，收集高清RGB图像和真值标签，还有关于摄像机内外参的附加信息，以及广告牌在场景中的位置。

该流水线设计用于生成涉及自主驾驶感知四种不同计算机视觉任务的数据集。每个数据集旨在评估CNN的对抗鲁棒性和/或在可能存在物理对抗打击的情况下防御方法的性能。对于每种情况，在可打击表面的不同距离处迭代生成带有摄像头的自车，以及随机的非表现角色（NPC，即车辆和行人）。该数据集由如此收集的RGB图像和相应的真值标注组成，对于每个任务，这些标注是不同的。

对抗场景主要是基于patches的真实对抗打击。该工具考虑两种不同类型的情况：（i）道路一侧的广告牌上有一个patch，以及（ii）在摄像机前面的卡车后面安插patch。每个广告牌位置在yml文件中指定为广告牌在地图中的固定位置。同一文件指定了自车和NPC相对于广告牌的生成位置限制。然后在这些限制内随机生成。这样，就可以生成同一潜在危险场景的不同视图。虽然广告牌有固定的位置，但卡车在地图中随机生成，而自车在其后面以不同的随机距离生成。

如图是数据生成和收集的流水线：

通过迭代3个步骤来构建数据集：（i）清理任何额外的车辆/行人，（ii）根据特定情况的生成限制生成自车、其传感器和随机NPC，（iii）保存RGB图像、真值、广告牌和摄像机姿态。

实验结果如下：（a）每个任务的性能与用于优化图像不可知patches的样本数有关。实验在billboard02上进行了十次，每次实验都更换种子。虚线表示基线性能（随机patches），而误差条表示标准偏差。（b） CARLA的不同天气预设对每个任务的基线性能（随机patches）和有效性的影响。实验针对三种不同的情况进行，不同的摄像机阳光相对方向。

责任编辑：张燕妮来源：知乎

Recommend

微信 mp.weixin.qq.com 6 years ago
Cache

生成式对抗网络模型综述

www.jiqizhixin.com 4 years ago
Cache

模型攻击：鲁棒性联邦学习研究的最新进展

现代机器学习算法在实际应用场景中可能会受到各种对抗性攻击，包括数据和模型更新过程中中毒（ Data and Model Update Poisoning）、模型规避（Model Evasion）、模型窃取（Model Stealing）和对用户的私人训练数据的数据推理性攻击（Data Infere...