Python玩转数据分析——相关分析-爱代码爱编程
Pearson 相关检验
在参数统计中,常用的相关分析方法是 Pearson 相关系数,公式如下:
r
(
X
,
Y
)
=
∑
i
[
(
X
i
−
X
ˉ
)
(
Y
i
−
Y
ˉ
)
]
∑
i
(
X
i
−
X
ˉ
)
2
∑
i
(
Y
i
−
Y
ˉ
)
2
r(\bm{X,Y})=\frac{\sum^{}_{i}[(X_i-\bar{X})(Y_i-\bar{Y})]} {\sqrt{\sum^{}_{i}(X_i-\bar{X})^2 \sum^{}_{i}(Y_i-\bar{Y})^2}}
r(X,Y)=∑i(Xi−Xˉ)2∑i(Yi−Yˉ)2∑i[(Xi−Xˉ)(Yi−Yˉ)]
现有一个容量为 7 的样本( X, Y ),X = [ 1, 2, 3, 5, 12, 6, 100 ],Y = [ 4, 3, 2, 1, 3, 8, 98 ]。Pearson 相关检验如下:
import scipy.stats as stats
x=[1,2,3,5,12,6,100]
y=[4,3,2,1,3,8,98]
stats.pearsonr(x,y)
输出结果为:(0.993499917707721, 6.519840976305177e-06)
结果显示 Pearson 相关系数为 0.99 ,P值为 6.52e-06 ,表明 X 和 Y 有显著的强相关关系。
Spearman 秩相关检验
Pearson 检验有一个缺陷,即容易受离群点或高杠杆点的影响。比如上面 X 和 Y 两变量中最后一个样本点( 100, 98 ),这一个样本点与其他样本点大大不同,放在一个分布之下进行分析显然是不合理的。
Spearman 秩相关检验将各变量中的值转换为秩,再计算相关系数,计算公式与Pearson 相关系数计算公式相同,只不过把变量值转换成了秩。因此,Spearman 秩相关检验能有效避免 Pearson 相关检验的缺陷。
Spearman 秩相关检验如下:
stats.spearmanr(x,y)
输出结果为:SpearmanrResult(correlation=0.36037498507822363, pvalue=0.42714880856090626)
可以看到,相关系数变为了0.36,且p值为0.43,表明 X 和 Y 相关关系并不显著。
Kendall τ \tau τ 相关检验
Kendall
τ
\tau
τ 相关检验与 Spearman 秩相关检验类似,不同之处在于Kendall
τ
\tau
τ 相关检验从两变量
(
x
i
,
y
i
)
(
i
=
1
,
2
,
.
.
.
,
n
)
(x_i, y_i)(i=1,2,...,n)
(xi,yi)(i=1,2,...,n) 是否协同一致的角度出发检验两变量之间是否存在相关性。
Kendall
τ
\tau
τ 相关检验如下:
stats.kendalltau(x,y)
输出结果为:KendalltauResult(correlation=0.19518001458970663, pvalue=0.5434238636256696)
相关系数为0.195,且p值为0.543,依然表明 X 和 Y 相关关系不显著。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接: https://blog.csdn.net/Raider_zreo/article/details/103403777