损失函数与风险函数

统计学习的目标在于从模型的假设空间中选取最优模型

经验风险最小化（empirical risk minimization, ERM）的策略：

$\min_{f\in\digamma}\frac{1}{N}\sum_{i=1}^NL(y_,f(x_i))$

结构风险最小化（structural risk minimization, SRM）的策略（其中J(f)定义为模型的复杂度）：

$\min_{f\in\digamma}\frac{1}{N}\sum_{i=1}^NL(y_,f(x_i)) + \lambda J(f)$

风险最小化例子：极大似然估计
结构最小化例子：贝叶斯估计中的最大后验概率估计(MAP)

根据模型与策略获取目标函数后，问题转化为最优化问题，通过数值方法求解

模型选择方法

两种常用方法：正则化与交叉验证

正则化，属于结构风险最小化策略，即在经验风险上增加正则化项(或称惩罚项)。正则化项一般为模型复杂度的单调递增函数，如模型参数向量的范数。

常见正则化项有L2范数
$L(w) = \frac{1}{N}\sum_{i=1}^N(f(x_i;w)-y_i)^2+\frac{\lambda}{2}\|w\|^2$

L1范数
$L(w) = \frac{1}{N}\sum_{i=1}^N(f(x_i;w)-y_i)^2+\lambda\|w\|_1$
交叉验证，切割数据，反复使用
简单交叉验证
随机将数据分为两部分，一部分用于训练，另一部分用于验证
K折交叉验证（K-fold cross validation）
将数据且分为K个大小相同的子集；其中K-1个用于训练，剩下的用于验证；重复K次，然后对这K次进行评估
留一法（leave-one-out cross vaidation）
K折交叉验证的特殊情况，K = 样本数

泛化能力即是对未知数据的预测能力

定义泛化误差（generalization error）为

$R_{exp}(\hat{f}) = E_p[L(Y,\hat{f(X)})] = \int_{x \times y}L(y,\hat{f(x)})P(x,y)dxdy$

泛化误差事实上为模型的期望风险

监督学习方法可分为生成方法（generative approach）和判别方法（discriminative approach），分别对应生成模型与判别模型

生成模型：先由数据学习联合概率分布，然后求出输出变量的条件概率分布
$P(Y|X) = \frac{P(X,Y)}{P(X)}$

典型的生成模型有朴素贝叶斯、隐马尔科夫。
特点：
1. 可获得联合概率分布
2. 学习收敛速度块
3. 存在隐变量时，仍可以用生成方法学习
判别模型：由数据直接学习决策函数或条件概率分布
特点：
1. 直接学习的决策函数或条件概率分布，学习准确率会较高
2. 可以对数据进行各种程度上的抽象，应用特征抽取、转换等技术手段

评价分类器性能指标一般是分类准确率（accuracy）：对于给定的测试集，正确分类的数量与总样本数之比，等价于损失函数为0-1损失时测试数据集上的准确率

对于二分类问题，评价指标是精确率（precision）与召回率（recall）。二分类的结果只可能为以下4种情况