上一篇文章中，讲到了梯度下降法的公式，但是比较抽象，这篇文章将通过一个例子来讲解这个公式。

线性回归

这篇文章就介绍梯度下降法在线性回归上的应用。所谓回归就是指通过已知数据预测出结果数据，线性回归就是指已知数据和预测数据之间的关系是线性的，它们的假设函数通常有如下形式：

我们举个比较简单的例子，即

回忆第三篇文章中损失函数的公式如下

假如数据集中只有一组数据，那么损失函数可以被简化为

其中

梯度下降

在上一篇文章中，给出了梯度下降的一般公式

用在这篇文章中举的例子，就有如下形式：

下面我推导一遍求偏导的过程

推广到一般形式就是

其中，x 的上标 i 指的是 x 在数据集中的第几个，下标 j 指的是在某一组数据中，这是第几个因素，比如有一组数据是

那么 x1 就表示这是这三个因素中的第 1 个（注意下标是从 0 开始的）

小结

上文推导了梯度下降在线性回归中的具体形式，希望大家对梯度下降的公式有了更深的理解，当然，回归不止线性回归一种形式，还有逻辑回归等等，梯度下降的具体形式也不同，但是总的思想都是让参数减去导数，使参数不断接近最优解，使得损失函数最小。