5
umich cv-2-2 - dyccyber
source link: https://www.cnblogs.com/dyccyber/p/17759697.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
UMICH CV Linear Classifiers
在上一篇博文中，我们讨论了利用损失函数来判断一个权重矩阵的好坏，在这节中我们将讨论如何去找到最优的权重矩阵
想象我们要下到一个峡谷的底部，我们自然会选择下降最快的斜坡，换成我们这个问题就是要求权重矩阵相对于损失函数的梯度函数，最简单的方法就是使用定义法：
在作业assignment2 的第一个线性分类器的实现中，我们会使用两张种损失函数，分别是svm与softmax函数，需要我们使用解析梯度来计算，这里推荐两篇博文的推导过程，因为我这边基础也不是很好，需要再深入学习一下😭
svm：http://giantpandacv.com/academic/算法科普/深度学习基础/SVM Loss以及梯度推导/
softmax：https://blog.csdn.net/qq_27261889/article/details/82915598
计算得到梯度函数之后，我们就可以让loss沿着梯度的方向下降：
但是对所有的样本都进行梯度下降，显然是非常耗时的一件事，所以我们一般采用sgd方法，也就是随机梯度下降：
但是SGD的缺点在于会导致梯度剧烈波动，有的地方下降很快有的地方下降很慢，同时也面临着陷入局部最优解的困境，所以出现了SGD + Momentum
Momentum也有变体 Nesterov Momentum，与Momentum唯一区别就是，计算梯度的不同。Nesterov动量中，先用当前的速 v临时更新一遍参数，在用更新的临时参数计算梯度，就是一种向前看的思想：
另一类进行优化的方法采用dw的平方
Adagrad 与 Rmsprop
最常用的优化方法就是adam
这里有一篇知乎的回答可供参考：https://www.zhihu.com/question/323747423
上面的方法都是采用一阶导数：
最后是一些二阶导的讨论：
本次assignment A2 的第一个线性分类器 主要内容就是分别采用svm与softmax损失函数进行优化计算，也没有用到后面复杂的优化方法，就是最简单的学习率乘以dw，比较复杂的就是解析梯度的推导，可参考上面的两篇博文
本文作者：dyccyber
本文链接：https://www.cnblogs.com/dyccyber/p/17759697.html
版权声明：本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK