贝叶斯估计和极大似然估计

极大似然估计与贝叶斯估计是统计学中两种对模型的参数的确定的方法，两种参数估计方法使用不同的思想。前者来自于频域派，认为参数是固定的，我们要做的事情就是根据已经掌握的数据来估计这个参数；而后者属于贝叶斯派，认为参数也是服从某种频率分布的，已有的数据只是在这种参数的分布下产生的，所以，直观理解上，极大似然估计就是假设了一个参数 $\theta$ ，然后根据数据来求出这个 $\theta$ ,而贝叶斯估计的难点在于 $p(\theta)$ 需要人为设定，之后再考虑结合MAP(maximum a posterior)方法设定一个 $\theta$ 。所以极大似然估计与贝叶斯估计最大的不同就是是否考虑的先验，而这两使用范围也变了；极大似然估计适用于数据大量，估计的参数能够较好的反映实际情况；而贝叶斯估计则在数量量较少或者比较稀疏的情况下，考虑先验来提升准确率。

问题前提

首先，我们有一堆数据 $D=\left\{x_{1}, x_{2}, \ldots, x_{n}\right\}$ 当然这些数据肯定不是随便产生的，我们就假设这些数据是以含有未知参数 $\theta$ 某种概率形式，如Bernoulli分布即0-1分布，我们的任务就是通过已有的数据，来估计这个未知参数 $\theta$ 。估计这个参数的好处就在于，我们可以对外来的数据进行预测。

问题实例

假设一个抛硬币实验，我们之前不知道这些硬币是不是正反均匀的，也许硬币正反不等，假设正面向上设为1的概率为p，反面向上设为0为1-p, 我们进行了3次实验，得到两次正面，一次反面，即序列为′110′。这里，D=(1,1,0), $\theta=p$

方法介绍

这一节将会详细阐明极大似然估计和贝叶斯估计，要注意到两种方法在面对未知参数θθ时采用的不同态度。

极大似然估计

模型推导

极大似然估计法认为参数是固有的，但是可能由于一些外界噪声的干扰，使数据看起来不是完全由参数决定的。没关系，数学家们觉得，虽然有误差存在，但只要让在这个数据给定的情况下，找到一个概率最大的参数就可以了。那问题其实就变成了一个条件概率最大的求解，即求使得 $p(\theta \mid D)$ 最大的单数θ，形式化表达为求解

$\arg \max _{\theta} p(\theta \mid D)$

而根据条件概率公式又有

$p(\theta \mid D)=\frac{p(D \mid \theta) p(\theta)}{p(D)}$
因为我们在极大似然估计中假设 $\theta$ 是确定的，所以 $p(\theta)$ 就是一个常数。 $p(D)$ 同样是根据已有的数据得到的，也是确定的，或者我们可以把其看作是对整个概率的一个归一化因子。这时候，求解公式变成了求解

最后编辑于：2022.03.16 11:50:59

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

贝叶斯估计和极大似然估计