谁说只有VGG才能做风格迁移，ResNet也可以！答案就在对抗攻击中
source link: https://www.tuicool.com/articles/MbuuiaN
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
风格迁移是VGG网络架构的拿手好戏。难道其他架构的CNN，比如ResNet就不可以吗？可以，但是直接用它来做风格迁移，原来的风格仍然非常明显，几乎没有迁移。
就像这样：
有没有一种方法，在经过调整后，可以把非VGG架构用于风格迁移呢？
之前的确有人尝试过。但他们不是直接优化RGB空间中的输出图像，而是在傅立叶空间中对其进行优化，并在将图像传递到神经网络之前通过一系列变换（例如抖动、旋转、缩放）来操作图像。
△ 通过去相关参数化和变换鲁棒性，在非VGG架构上实现风格迁移
为何给图像做一个简单的旋转、抖动处理，就能实现非VGG架构的风格迁移？有位日本的科技博主Reiichiro Nakano受到MIT上个月发表的一篇论文启发，用实验结果解答了这个问题。
这篇论文叫做 《对抗样本不是bug而是特征》 （Adversarial Examples Are Not Bugs, They Are Features）。下面就让我们来分析分析。
鲁棒与非鲁棒特征
MIT的文章提出，用于训练分类器的图像中存在所谓的“鲁棒”和“非鲁棒”特征。
我们可以将鲁棒的特征视为人类用于分类的特征，例如，大耳朵指向某些品种的狗，而黑白条纹指向斑马。
另一方面，非鲁棒特征是人类对之不敏感的特征，但是它们却与整个训练、测试数据集上的类别相关联。
作者认为，可以通过用另一个类的非鲁棒特征替换图像中的非鲁棒特征来产生对抗样本。
有些图像分类模型的抵抗性较差，给熊猫照片加上一点噪声（非鲁棒特征），它就会把熊猫当成长臂猿：
论文中有一张图表特别值得注意，它显示了对抗样本的可迁移性与学习非鲁棒特征能力之间的相关性。
于是有人推测，由于VGG无法像ResNet那样捕获图像的 非鲁棒特征 ，因此在图像分类准确率上吃亏，却能使VGG更好地进行风格迁移。
之前我们的问题得到了解释：
图像变换会削弱甚至破坏非鲁棒特征。经过优化后，CNN不再能够可靠地利用非鲁棒特征来降低损失，因此不得不利用鲁棒特征，可能会对图像变化产生更大的抵抗力（旋转和抖动的耳朵仍然看起来像一个大耳朵）。
实验
测试这个假设是相当简单的：使用一个抵抗力强大（鲁棒）的分类器进行风格迁移，看看会发生什幺。
博主对两个不同条件训练的ResNet-50模型进行比较。一个是MIT作者用鲁棒特征训练的模型（已开源），另一个是博主自己训练的常规ResNet-50模型（对非鲁棒特征敏感）。
此外，还有常规VGG-19风格转换的图片作为对比。
结果成功了！鲁棒ResNet模型相比常规ResNet模型显示出了巨大的改进。请记住，二者网络架构完全相同，执行风格迁移的代码完全相同，只是权重不同！
在VGG-19与鲁棒的ResNet之间进行比较，会得到更有趣的结果。乍一看，鲁棒ResNet模型生成的图片大致与VGG-19相同。然而，仔细观察却发现，ResNet的输出包含更多的噪点，伪造的痕迹更明显一些。
目前还不清楚究竟是什幺原因导致这些痕迹。一种理论是它们是由不可分的核尺寸和卷积层中的步长引起的“棋盘伪影”（checkerboard artifacts），也有可能是由最大池化层的存在造成的。
这些伪影虽然存在问题，但似乎与对抗鲁棒性在神经风格迁移中解决的问题大不相同。
结论
虽然这个实验是因为观察到VGG的一个特殊特征而开始的，但它没有对这种现象作出解释。实际上，如果我们要接受这样的理论，即对抗鲁棒性是VGG能直接用于神经风格转移的原因，我们肯定会在现有文献中找到一些迹象表明VGG自然比其他架构更强大。
不幸的是，我们找不到任何支持这个论点的东西。
也许对抗鲁棒性恰好修复或掩盖非VGG架构在风格迁移中失败的真正原因，即 对抗鲁棒性是有良好风格迁移能力的充分不必要条件 。
这位日本博主认为进一步研究VGG是未来工作一个非常有趣的方向。
未来的工作
最后，博主给出了一些未来工作的想法：
1、找出鲁棒ResNet伪造痕迹明显的原因，并尝试修复它们。
2、尝试使用超参数，尤其是用于风格和内容的图层。
3、本文使用的鲁棒ResNet模型来自Engstrom等人的成果。他们是在一组受限制的ImageNet上训练，只有9个分类。在完整的ImageNet数据集上训练分类器是否会产生更好的输出。
传送门
博客地址：
https://reiinakano.com/2019/06/21/robust-neural-style-transfer.html
论文解读地址：
http://gradientscience.org/adv/
鲁棒ResNet-50模型：
https://github.com/MadryLab/robust_representations
Cloab地址：
https://colab.research.google.com/github/reiinakano/adversarially-robust-neural-style-transfer/blob/master/Robust_Neural_Style_Transfer.ipynb
Recommend
-
45
太神奇了!只有半个大脑，居然也可以活得像个正常人
-
10
2 月 25 日，华为诺亚方舟实验室将 AdderNet 正式开源！ 一个月以前，一篇名为《我们真的需要在深度学习中使用乘法吗？》的论文刷爆朋友圈，这篇来自华为诺亚方舟实验室与北大合作的论文提出了一种新的方法，名为： Add...
-
35
谁说Cat不能做链路跟踪的，给我站出来 链路跟踪，我们有很多可选项。常见的有 zipkin，pinpoint，skywalking，jaeger 等。 基本上都是根据谷歌的《Dapper 大规模分布式系统的跟踪系统》这篇论文发展出来的。 今...
-
18
让你眼里的人，只有心中的那一个——用人工智能做单人CUT同济大学 计算机科学与技术硕士在读无聊是第一生产力，尤其是在吃饱了撑的的情况下；而懒又是另一个促进科技...
-
10
不用C4D也能做梦幻般的磨砂UI风格 4月 19, 2021 发表于: 视觉设计. 评论 Spon...
-
3
只有“疯子”才能做动画观娱象限54分钟前比动画更热血的，是中国的动画人。从月初的《俑之城》，到即将播出的《白蛇2：青蛇劫起》《冲出地球》，尽管前者...
-
10
谁说情人节只有女生可以收礼物，这是一份男生肯定喜欢的好物推荐（共四大类14款产品） ...
-
3
“断卡行动”下的银行人：有误伤，我们能做的只有解释36氪的朋友们·2022-08-14 03:00如何保证客户体验？ 近日，有网友反映...
-
4
之前在知无不言发过一个帖子，标题是“为什么短期内不怎么看好tiktok？”，内容是偏悲观的，但是 现在我却认为可以试试了。废话不多说，直接上硬菜（注：更适合小小卖以及兼职做亚马逊的家人们）模式一：tiktok=亚马逊/虾皮/独立站
-
2
谁说只有小孩用TikTok，打桩机都在上面做生意
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK