代码编织梦想

Pearson 相关检验

在参数统计中,常用的相关分析方法是 Pearson 相关系数,公式如下:
r ( X , Y ) = ∑ i [ ( X i − X ˉ ) ( Y i − Y ˉ ) ] ∑ i ( X i − X ˉ ) 2 ∑ i ( Y i − Y ˉ ) 2 r(\bm{X,Y})=\frac{\sum^{}_{i}[(X_i-\bar{X})(Y_i-\bar{Y})]} {\sqrt{\sum^{}_{i}(X_i-\bar{X})^2 \sum^{}_{i}(Y_i-\bar{Y})^2}} r(X,Y)=i(XiXˉ)2i(YiYˉ)2 i[(XiXˉ)(YiYˉ)]
现有一个容量为 7 的样本( X, Y ),X = [ 1, 2, 3, 5, 12, 6, 100 ],Y = [ 4, 3, 2, 1, 3, 8, 98 ]。Pearson 相关检验如下:

import scipy.stats as stats
x=[1,2,3,5,12,6,100]
y=[4,3,2,1,3,8,98]
stats.pearsonr(x,y)

输出结果为:(0.993499917707721, 6.519840976305177e-06)
结果显示 Pearson 相关系数为 0.99 ,P值为 6.52e-06 ,表明 XY 有显著的强相关关系。

Spearman 秩相关检验

Pearson 检验有一个缺陷,即容易受离群点或高杠杆点的影响。比如上面 XY 两变量中最后一个样本点( 100, 98 ),这一个样本点与其他样本点大大不同,放在一个分布之下进行分析显然是不合理的。
Spearman 秩相关检验将各变量中的值转换为秩,再计算相关系数,计算公式与Pearson 相关系数计算公式相同,只不过把变量值转换成了秩。因此,Spearman 秩相关检验能有效避免 Pearson 相关检验的缺陷。
Spearman 秩相关检验如下:

stats.spearmanr(x,y)

输出结果为:SpearmanrResult(correlation=0.36037498507822363, pvalue=0.42714880856090626)
可以看到,相关系数变为了0.36,且p值为0.43,表明 XY 相关关系并不显著。

Kendall τ \tau τ 相关检验

Kendall τ \tau τ 相关检验与 Spearman 秩相关检验类似,不同之处在于Kendall τ \tau τ 相关检验从两变量 ( x i , y i ) ( i = 1 , 2 , . . . , n ) (x_i, y_i)(i=1,2,...,n) (xi,yi)(i=1,2,...,n) 是否协同一致的角度出发检验两变量之间是否存在相关性。
Kendall τ \tau τ 相关检验如下:

stats.kendalltau(x,y)

输出结果为:KendalltauResult(correlation=0.19518001458970663, pvalue=0.5434238636256696)
相关系数为0.195,且p值为0.543,依然表明 XY 相关关系不显著。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接: https://blog.csdn.net/Raider_zreo/article/details/103403777

颜值即正义!这几个库颠覆你对数据交互的想象-爱代码爱编程

前言 作为一个对UI和动画敏感的切图仔,在日常开发之余,也会关注一些贼好看的图表库和插件。 接下来,我将给大家介绍几款web/python/vue/react里漂亮得不行的几个开源库/实现。 1. 手绘风图表库:roughViz.js 基于D3(v5), roughjs, 和handy。 1.1 衡量方式 有三种衡量方式: 粗糙度:

Python开发 之 Jieba分词示例-爱代码爱编程

文章目录 1、唠唠叨叨2、先看一下效果吧3、核心代码3.1、分词3.2、读取Excel文件3.3、去除数组中的\n符4、Github源码分享5、其它小知识5.1、在github.com的README中添加image图片 1、唠唠叨叨 之前讲述过关于Jieba分词的内容,最近又有关于这方面的需求,于是做了一个小示例来学习。此示例先获取xlsx文

Django学习之路(3)-爱代码爱编程

Django使用mysql数据库和网页重定向 1.在django的使用mysql数据库 (1)在settings.py中把默认数据库设置为mysql。 DATABASES = { 'default': { # 'ENGINE': 'django.db.backends.sqlite3', 'ENGINE': 'd

Odoo12入门(3)-模型关系-爱代码爱编程

模型(model)之间的关系 简介 模型与模型之间一定会存在某种联系,比如说一张销售订单与销售员和客户有关系, 销售单和销售单行(产品)记录也有相互的联系。 关系字段 关系字段有三种: Many2one(other_model, ondelete='set null') 数据库外键,比如销售订单上会有一个客户字段,这个字段并不是一个普通的

python几行代码搞定批量解压和删除文件-爱代码爱编程

        最近需要把从谷歌地图上下载的影像瓦片数据上传到内网发布,影像瓦片数据有几百上千个文件夹,限于上传速率较慢,为了方便上传,需将每个文件夹都打包压缩。那么问题来了,压缩的文件夹上传好后,几百个压缩文件解压也是一件耗时枯燥的工作,于是写了个python脚本,批量解压zip,并删除已解压过的zip。代码如下 # coding=utf-8 imp

Python爬取百度文库付费文档(PDF)-爱代码爱编程

Python爬取百度文库付费文档(PDF)@TOC PS:本文为本人学习python的一个小分享,仅供学习和参考使用,不可做商业利益的盗取! 工具准备 Python3.x; Python库:selenium、requests; 爬取页面及爬取分析 https://wenku.baidu.com/view/9a5a21cf964bcf84b9d57b

【Python】当你需要计算1,000,000+次一维向量的相关系数, 怎么算最快?-爱代码爱编程

背景 最近需要用python计算大量的一维向量之间的相关系数, 其中:         测试数据: (1000, 100)   one of them (100,)         模板数据: (1000, 100)   one of them (100,) 那么就需要计算1,000,000次相关系数,那么在这种情况下, 计算效率就变

python数据分析-相关分析-爱代码爱编程

python数据分析-相关分析 概念 在现实中,事物与事物之间或多或少存在一定的关系,数据之间也不例外,数据与数据之间关系往往提醒安于互相依存的关系,而相关分析主要就是分析两个变量之间的相互影响程度,在数据分析中,相关分析就是度量的是两个连续型变量之间的相关型。常见的的度量指标如下: 皮尔森相关系数Pearson斯皮尔曼相关系数Spearman相关型