牛顿法

         牛顿法用来解决优化问题，优化问题在机器学习中是是常见的问题。对于一个可微的函数如何找到他的极值点就是优化问题。

牛顿法只能得到局部极值

这种方法需要给出一个初始点

原理：二阶逼近

牛顿法对局部凸函数找到极小值，对局部凹函数找到极大值，对局部不凸不凹函数可能找到鞍点

牛顿法要求估计二阶导数。


公式推导：二阶逼近

首先在初始点 x0处，写出二阶泰勒级数

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 凸优化(七)——牛顿法
    〇、说明 凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的...
    Herbert002阅读 20,409评论 0赞 8
  • 随机梯度下降（SGD）和批量梯度下降以及拟牛顿法
    批量梯度下降和随机梯度下降是机器学习中很常用的学习方法，批量梯度下降更为准确，但是每一轮训练都要遍历全部的样本而随...
    WZFish0408阅读 1,736评论 0赞 4
  • 牛顿法 Newton Method
    今天我们要介绍一种收敛速度更快的算法：Newton Method（或者叫 Newton’s Method）。可能大...
    GarfieldEr007阅读 7,063评论 0赞 4
  • 牛顿法
    如果要求解一个数的根，用什么方法比较好呢？我之前看到有人问这个问题，据说是谷歌的一道面试题，标准面试答案是使用二分...
    juteman阅读 944评论 0赞 0
  • 高斯牛顿法估计未知参数
    最小二乘法是估计带有噪声模型中未知参量的一种常用的方法，下面我将详细说明一下最小二乘法问题及其解法。 1.最小二乘...
    变胖是梦想2014阅读 3,649评论 1赞 1