相关分析

1 相关关系

相关关系指变量之间存在着非确定性依存关系。即当一个或一组变量每取一个值时，相应的另一个变量可能有多个不同值与之对应。
——相关关系可以理解为多个变量均值之间的一种数量关系！

1.1 相关关系的种类

按变量的个数分类：

研究2个变量之间的关系，为单相关；
研究1个变量与N个变量之间的关系，为复相关；
就多个变量测定其中两个变量的相关程度而假定其他变量不变，为偏相关。

1.2 相关分析的特点

两个变量全是随机变量，X是随机变量，Y也是随机变量；
变量X与变量Y只能计算出一个相关系数，相关系数是唯一的；
计算相关系数时，变量X与Y获取的资料方式相同。

2 相关性度量

2.1 相关系数

对变量之间关系密切程度的度量

若相关系数是根据总体全部数据计算的，称为总体相关系数，记为 $\rho$ 。若是根据样本数据计算的，则称为样本相关系数，记为 r。

根据数值大小来判定相关密切程度方面，尚无一致意见。一般常划分为四级： $|r|$ 数值在0.3以下者视为不相关，0.3~0.5属低度相关，0.5-0.8属显著相关，0.8以上属高度相关（仅供参考，需根据实际情况判断）。

为了定量的描述线性相关性，统计学奠基人K. Pearson提出了Pearson积差相关系数、心理学家CE. Spearman提出了Spearman等级相关系数、统计学家M. Kendall提出了Kendall秩相关系数。这三种相关系数最具有代表性、应用也最广泛，它们既有联系又有不同，分别有不同的适用场景。

重要参考：作者：Treant；出处：http://www.cnblogs.com/en-heng/

2.1.1 Pearson相关系数

Pearson相关系数 (Pearson correlation coefficient)用于度量两个变量X、Y的相关性，定义如下：
$r=\frac{\sigma_{XY}}{\sigma_X\sigma_Y} =\frac{\sum_{i=1}^n (X_i-\overline{X}) (Y_i-\overline{Y})}{\sqrt{\sum_{i}^n(X_i-\overline{X})^2} \sqrt{\sum_{i}^n(Y_i-\overline{Y})^2}}$ 上述公式又被称为相关系数的积差法计算公式，其中分子位置的 $\sigma_{XY}$ 表示变量X与Y的协方差(消除了变量个数的影响)，分母位置的两变量的标准差 $\sigma_X,\sigma_Y$ 的作用是使不同变量的协方差标准化，用于消除变量本身数值大小的影响。

！注意：

此公式计算的是变量之间的线性相关系数。如果变量之间属于非线性相关，则此公式失效；
相关系数计算出的结果是唯一的，并且数值在 $\pm1$ 之间；
样本资料说明总体时，要进行假设检验；
其分析的是直接关系，不是间接关系；

下图给出了当Pearson相关系数为不同值时X和Y的散点图（以下三张图片均来自于Wikipedia）：

不同相关系数散点图

2.1.2 Spearman相关系数

Spearman相关系数实际上就是将变量X和Y替换成其对应等级x, y的Pearson相关系数：
$\rho = \frac{\sum_{i=1} (x_i - \overline{x}) (y_i - \overline{y})}{\sqrt{\sum_{i}(x_i - \overline{x})^2} \sqrt{\sum_{i}(y_i - \overline{y})^2}}$ 相较于Pearson相关系数，Spearman相关系数更能描述两个变量之间的单调性的相关性，对于样本中的显著离群点更为不敏感。比如，下图中变量X和Y的Pearson相关系数、Spear-man相关系数分别为0.88与1，显然Spearman相关系数更好地刻画了两个变量增长趋势的相关性。

下图更好地表现出了Spearman相关系数的抗噪音性：

2.1.3 Kendall相关系数

Kendall相关系数是另一种等级相关统计量，其主要思想是根据两个变量序对的一致性 (concordance)来判断相关性的。一致性序对 (concordant pair)定义如下：如果变量对 $(X_i, Y_i)$ 、 $(X_j, Y_j)$ 且 $i \neq j$ 满足当 $X_i < X_j$ 时 $Y_i < Y_j$ ，或者当 $X_i > X_j$ 时 $Y_i > Y_j$ 。反之，则为非一致性序对。

Kendall相关系数的定义如下：
$\tau = \frac{P - Q}{n(n-1)/2}$ 其中，P为一致性序对的个数，Q为非一致性序对个数，则P+Q=n(n−1/2)，因此上式可改写为： $\tau = \frac{4P}{n(n-1)/2} -1$ ，显然τ的取值范围为[-1, 1] 。