没想到这么快就可以开始接触阿尔法狗的原理了，俗话说的好，读万卷书不如行万里路，原理都是枯燥的，但是，能够看见一个活生生的例子，再去探寻原理，就是一件非常有趣的事情！

参考博客：

周志华《Machine Learning》学习笔记（17）--强化学习：原来强化学习都是作为学习算法的最后一种算法来介绍的。

1. AlphaGo的基础——强化算法

强化学习是AlphaGo的核心技术之一，正如人类下棋那般“手下一步棋，心想三步棋”，Alphago也正是这个思想，当处于一个状态时，机器会暗地里进行多次的尝试/采样，并基于反馈回来的结果信息改进估值函数，从而最终通过增强版的估值函数来选择最优的落子动作。

3.1 深度学习（拟合估值函数）

在模型已知的前提下，用来评估某个策略优劣的两个值函数
（1）状态值函数（V）：V（x），即从状态x出发，使用π策略所带来的累积奖赏；
（2）状态-动作值函数（Q）：Q（x,a），即从状态x出发，执行动作a后再使用π策略所带来的累积奖赏。

Why：围棋状态空间巨大，像蒙特卡罗强化学习做确定值函数行不通，只能估值。
What：围棋中，状态值函数可以看作为一种局面函数，状态-动作值函数可以看做一种策略函数，实现这两个函数的估值函数后，就可以完成
（1）衡量当前局面的价值。
（2）选择当前最优的动作。
How：通过深度学习，利用大量的对弈数据自动学习出特征，从而拟合出估值函数。

Why && What：蒙特卡罗树是一种经典的搜索框架，它通过反复地采样模拟对局来探索状态空间。
How：从当前状态开始，利用策略函数尽可能选择当前最优的动作，同时也引入随机性来减小估值错误带来的负面影响，从而模拟棋局运行，使得棋盘达到终局或一定步数后停止。

How：在使用蒙特卡罗搜索树进行多次采样后，每次采样都会反馈后续的局面信息（利用局面函数进行评价），根据反馈回来的结果信息自动调整两个估值函数的参数，这便是强化学习的核心思想，最后基于改进后的策略函数选择出当前最优的落子动作。

AlphaGo的原理图

离线学习
a. 第一阶段：深度学习+3万个专业棋手对局的棋谱数据==>两个网络.
（1）基于全局特征和深度卷积网络（CNN）训练出来的策略网络（Policy Network）：（输入）当前局面、（输出）下一步棋在棋盘上其他空地的落子概率。速度慢&精度高
（2）利用局部特征和线性模型训练出来的快速走棋策略（Rollout Policy)。速度快&精度低
b. 第二阶段：利用第t轮的策略网络<==对弈==>前一轮训练好的策略网络，增强学习可以修正第t轮参数。水分大（两个6岁的孩子相互对弈能超过9段专家吗？）
c. 第三阶段：生成估值网络（作为AlphaGo的一大创新，因为围棋最难的就是根据当前的局势来判断最后的输赢，职业棋手都很难把控）
（1）Step1：先利用普通的策略网络来生成棋局的前U-1步（U是一个属于[1, 450]的随机变量），
（2）Step2：利用随机采样来决定第U步的位置（这是为了增加棋的多样性，防止过拟合）
（3）Step3：利用增强的策略网络来完成后面的自我对弈过程，直至棋局结束分出胜负。此后，第U步的盘面作为特征输入，胜负作为label，学习一个价值网络（Value Network），用于判断结果的输赢概率。
在线博弈（核心思想实在蒙特卡洛搜索树（MCTS）中嵌入了深度神经网络来减少搜索空间。AlphaGo并没有具备真正的思维能力。）

根据当前盘面已经落子的情况提取相应特征；
利用策略网络估计出棋盘其他空地的落子概率；
根据落子概率来计算此处往下发展的权重，初始值为落子概率本身（如0.18）。实际情况可能是一个以概率值为输入的函数，此处为了理解简便。
利用价值网络和快速走棋网络分别判断局势，两个局势得分相加为此处最后走棋获胜的得分。这里使用快速走棋策略是一个用速度来换取量的方法，从被判断的位置出发，快速行棋至最后，每一次行棋结束后都会有个输赢结果，然后综合统计这个节点对应的胜率。而价值网络只要根据当前的状态便可直接评估出最后的结果。两者各有优缺点、互补。
利用第四步计算的得分来更新之前那个走棋位置的权重（如从0.18变成了0.12）；此后，从权重最大的0.15那条边开始继续搜索和更新。这些权重的更新过程应该是可以并行的。当某个节点的被访问次数超过了一定的门限值，则在蒙特卡罗树上进一步展开下一级别的搜索（如图所示）。

MCTS拓展下一级节点