线性回归和最小二乘

关于线性回归一直都知道是那么回事,方差最小啥的。但是涉及到计算方法或者代码啥的,也是不太了解,最近就做了个全面的总结,数学公式比较麻烦,所以直接上祖传手稿


首先是因为我某天遇到个这样的问题,想知道最大似然估计和最小二乘的区别,下面的例子其实是来源知乎的一个答案,但有助理解,就写下来了


最小二乘和最大似然.JPG

这幅图是最小二乘的矩阵解法的公式推算,这种解法是最小二乘的逆矩阵解法,还有一种解法是梯度下降,在下面也罗列了大概的优缺点,这里和上面那个图有个地方的转换就是 图上右方的h(x) = Wx

线性回归模型.JPG

目前梯度下降的公式我还没自己推算一遍,所以先没放上来(百度一大推)


最后这个是一元线性回归下的计算y = ax+b


一元线性回归计算.JPG

这里github有我写的一个简单的代码,就是根据最后这个计算a和b的公式计算出来并且画图的

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容