热线电话：13121318867

登录
首页精彩阅读相关性检验之Pearson系数及python实现
相关性检验之Pearson系数及python实现
2018-01-25
收藏

相关性检验之Pearson系数及python实现

一、Pearson相关系数

皮尔森相关系数是用来反应俩变量之间相似程度的统计量，在机器学习中可以用来计算特征与类别间的相似度，即可判断所提取到的特征和类别是正相关、负相关还是没有相关程度。

Pearson系数的取值范围为[-1,1]，当值为负时，为负相关，当值为正时，为正相关，绝对值越大，则正/负相关的程度越大。若数据无重复值，且两个变量完全单调相关时，spearman相关系数为+1或-1。当两个变量独立时相关系统为0，但反之不成立

Pearson相关系数的计算方法有三种形式，如下列公式所示

其中X,Y代表两个特征数组， ， 为X,Y特征的平均值。对于第一种形式的Pearson表示，可以看做是两个随机变量中得到的样本集向量之间夹角的cosine函数。

二、Python代码实现

在这里主要实现了第一种Pearson形式的代码，代码分为三个模块，第一个模块的功能是来获取两个向量的平均值；第二个模块的功能实现的是求两个向量间的pearson系数，返回pearson系数；最后一个模块是来求取所有特征和类的相似程度


[python]view plaincopy
  1. #计算特征和类的平均值  
  2. ef calcMean(x,y):  
  3.    sum_x = sum(x)  
  4.    sum_y = sum(y)  
  5.    n = len(x)  
  6.    x_mean = float(sum_x+0.0)/n  
  7.    y_mean = float(sum_y+0.0)/n  
  8.    return x_mean,y_mean  


[python]view plaincopy
  1. #计算Pearson系数  
  2. def calcPearson(x,y):  
  3.     x_mean,y_mean = calcMean(x,y)   #计算x,y向量平均值  
  4.     n = len(x)  
  5.     sumTop = 0.0  
  6.     sumBottom = 0.0  
  7.     x_pow = 0.0  
  8.     y_pow = 0.0  
  9.     for i in range(n):  
  10.         sumTop += (x[i]-x_mean)*(y[i]-y_mean)  
  11.     for i in range(n):  
  12.         x_pow += math.pow(x[i]-x_mean,2)  
  13.     for i in range(n):  
  14.         y_pow += math.pow(y[i]-y_mean,2)  
  15.     sumBottom = math.sqrt(x_pow*y_pow)  
  16.     p = sumTop/sumBottom  
  17.     return p  
[python]view plaincopy
  1.   
[python]view plaincopy
  1. #计算每个特征的spearman系数，返回数组  
  2. def calcAttribute(dataSet):  
  3.     prr = []  
  4.     n,m = shape(dataSet)    #获取数据集行数和列数  
  5.     x = [0] * n             #初始化特征x和类别y向量  
  6.     y = [0] * n  
  7.     for i in range(n):      #得到类向量  
  8.         y[i] = dataSet[i][m-1]  
  9.     for j in range(m-1):    #获取每个特征的向量，并计算Pearson系数，存入到列表中  
  10.         for k in range(n):  
  11.             x[k] = dataSet[k][j]  
  12.         prr.append(calcSpearman(x,y))  
  13.     return prr  


三、样例演示

这里有一个1162*22的数据集，如下图所示，前21列表示特征，第22列表示类别。该数据集是一个二分类问题。

对于每个特征，调用上述函数，得出的每个特征的pearson系数如下图所示。根据得到的结果，对于特征选择就有一定的依据啦~



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

特征 python 机器学习

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇大数据解读数字营销七大新趋势
下一篇Python类的继承和多态代码详解
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询