1
牛顿法与拟牛顿法学习笔记(一)牛顿法
source link: https://blog.csdn.net/itplus/article/details/21896453
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
评论 40
您还未登录,请先
登录
后发表或查看评论
拟牛顿法
一、牛顿法
1.1 基本介绍
牛顿法属于利用一阶和二阶导数的无约束目标最优化方法。基本思想是,在每一次迭代中,以牛顿方向为搜索方向进行更新。牛顿法对目标的可导性更严格,要求二阶可导,有Hesse矩阵求逆的计算复杂的缺点。XGBoost本质上就是利用牛顿法进行优化的。
1.2 基本原理
现在推导牛顿法。 假设无约束最优化问题是 minxf(x)minxf(x)\m...
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK