梯度下降法 - Gradient descent - 产品经理的人工智能学习库
source link: https://easyai.tech/ai-definition/gradient-descent/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
梯度下降法 – Gradient descent
什么是梯度下降法？
梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。
我们以爬上山顶为例
假设我们位于一座山的山腰处，没有地图，并不知道如何到达山顶。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易上山的方向前进一步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山顶。这里通过最陡峭的路径上山的方向就是梯度。
梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。
梯度下降是用于找到函数最小值的一阶 迭代 优化 算法。为了使用梯度下降找到函数的局部最小值，需要采用与当前点处函数的梯度（或近似梯度）的负值成比例的步长。相反，如果采用与梯度的正值成比例的步长，则接近该函数的局部最大值 ; 然后将该过程称为梯度上升。
梯度下降也称为最陡下降。但是，梯度下降不应与最速下降的最速下降方法相混淆。
Recommend
-
64
python 梯度下降法 02 November 2017 梯度下降法是机器学习算法更新模型参数的常用的方法之一。 梯度 : 表示某一函数在一点处变化率最快的方向向量(可理解为这点的导数/偏导...
-
52
梯度下降的几何形式 下图为梯度下降的目的，找到J（θ）的最小值。 其实，J(θ)的真正图形是类似下面这样的，因为其是一个凸...
-
25
梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e.找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息...
-
27
导言 在用机器学习算法解决问题时，求解模型参数是很经常的事情，也就是在优化损失函数的时候，需要找到最合适的模型参数。 那么如何找到最优的参数呢，这个时候就需要我们本文要讲的 梯度...
-
6
随机梯度下降法（Stochastic gradient descent | SGD）维基百科版本维基百科版本随机梯...
-
4
梯度下降法/回归问题 – 最简单的解释由 TaterLi2021年11月5日2021年11月5日 最近听到的一个最简单的解释,这个其实算是入门之入门,但是...
-
5
关于梯度下降法和牛顿法的数学推导 ...
-
7
梯度下降法(Gradient Descent)是一个算法，但不是像多元线性回归那样是一个具体做回归任务的算法，而是一个非常通用的优化算法来帮助一些机器学习算法求解出最优解的，所谓的通用就是很多机器学习算法都是用它，甚至深度学习也是用它来求解最优解。所有优化算法的...
-
8
编辑导语：机器学习是策略产品经理需要了解的一个方面，而梯度下降法则是学习机器学习必须了解的思想，本文作者通过一个案例介绍了梯度下降法，一起来看一下吧。
-
6
梯度下降算法 Gradient Descent 梯度下降算法是一种被广泛使用的优化算法。在读论文的时候碰到了一种参数优化问题： 在函数FF中有若干参数是不确定的，已知
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK