烧脑的贝叶斯

机器学习基础

概率派和朴素贝叶斯派

概率

推动概率论

概率相比大家都学习过，但是大家可能还不知道概率背后是可重复性。我们还是拿最简单最经典的示例，也就是投硬币大家都知道只要我们做足够多一次然后进行统计就会发现出现正面和背面概率分别都是 50%
我好那么什么是可重复性，合适因为如果我们进行多轮投币测试，每轮测试 1000 次，发现每一轮下来正面和反面出现次数比例1比1，这就是概率的可重复性。如果没有可重复性概率也就是没有意义。
所以我们发现一些事物背后是一定稳定性的东西(也就是模式)，这是我们机器学习基础。

下面介绍一些概率出现术语和一些基本计算公式来帮助我们更好理解要机器学习。我们补充一些基础知识都是为了机器学习

术语

实验: 我们要研究内容，例如投硬币
事件: 试验的结果就是事件，也就是投硬币后正面就是事件，用于 A B 大写字母表示。事件是可以组合
概率空间：就是所有事件集合表示

概率运算

$A \bigcup B$ : $P(A+B)$
$A \bigcap B$ : $P(A,B)$ 这里两个事件是独立 $P(A,B) = P(A)P(B)$
$\overline{A}$ : $P(\overline{A}) = 1 - P(A)$
$P(A|B)$ : $P(A|B) = P(A,B)/P(B)$
$P(A) = P(A|B)P(B) + P(A| \overline B)P(\overline B)$

推导贝叶斯公式

$P(A,B) = P(B,A) \Rightarrow P(A|B)P(B) = P(B|A)P(A)$
$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$
$P(A|B) = \frac{P(B|A)P(A)}{P(A)P(B|A) + P(\overline A)P(B|\overline A)}$

P(A) 先验概率
P(A|B) 后验概率
B 证据
A 事件

P(A) 什么都不知道我们对 A 事件发生概率估计，随后得到 B 证据，这样有了证据就增加对 A 发生推断后验概率 P(A|B)

贝叶斯公式的内容（根据数据(证据)更新对事件可能性的估计）这就就是大数据被后支撑理论。

练习

monty_hall_problem

三门问题（Monty Hall problem）亦称为蒙提霍尔问题、蒙特霍问题或蒙提霍尔悖论，大致出自美国的电视游戏节目Let’s Make a Deal。
问题名字来自该节目的主持人蒙提·霍尔（Monty Hall）。参赛者会看见三扇关闭了的门，其中一扇的后面有一辆汽车，选中后面有车的那扇门可赢得该汽车。当参赛者选定了一扇门，但未去开启它的时候，节目主持人开启剩下两扇门的其中一扇，里面当然没有汽车。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是：换另一扇门会否增加参赛者赢得汽车的机会？

错误答案

根据常识我们会认为概率是 1/2

答案

那么答案是会。不换门的话，赢得汽车的几率是1/3。换门的话，赢得汽车的几率是2/3。

推导

我们看一看本质就是主持开门这个事件是不是影响到之前我们认为 1/2 概率的事件。也就是我们之前提到证据。

monty_hall_problem_solution

我们用 $A_1,A_2,A_3$ 三个事件分别表示 1 号 2 号和 3 号门有车事件概率，那么我们每一个事件概率都是 $A_n = \frac{1}{3}$

参加者选择 1 号门
开门前的先验概率为 $A_1 = 1/3$
然后主持人开 3 号门，主持人开门事件就是证据, 用事件 B 来表示
- 如果 1 号门有车主持打开 3 号门概率是 1/2
- 如果 2 号门有车主持人打开 3 号门概率 1
- 如果 3 号门有车主持人打开 3 号门概率为 0
  $P(A_1|B) = P\frac{P(B|A_1)P(A_1)}{P(B)} \Rightarrow \frac{P(B|A_1)P(A_1)}{P(B|A_1)P(A_1) + P(B|A_2)P(A_2) + P(B|A_3)P(A_3)}$