数据分析中要注意的统计学问题

(一、均值的计算 

在处理数据时，经常会遇到对相同采样或相同实验条件下同一随机变量的多个不同取值进行统计处理的问题。此时，往往我们会不假思索地直接给出算术平均值和标准差。显然，这种做法是不严谨的。

这是因为作为描述随机变量总体大小特征的统计量有算术平均值、几何平均值和中位数等多个。至于该采用哪种均值，不能根据主观意愿随意确定，而要根据随机变量的分布特征确定。

反映随机变量总体大小特征的统计量是数学期望，而在随机变量的分布服从正态分布时，其数学期望就是其算术平均值。此时，可用算术平均值描述随机变量的大小特征；如果所研究的随机变量不服从正态分布，则算术平均值不能准确反映该变量的大小特征。在这种情况下，可通过假设检验来判断随机变量是否服从对数正态分布。如果服从对数正态分布，则几何平均值就是数学期望的值。此时，就可以计算变量的几何平均值；如果随机变量既不服从正态分布也不服从对数正态分布，则按现有的数理统计学知识，尚无合适的统计量描述该变量的大小特征。此时，可用中位数来描述变量的大小特征。

因此，我们不能在处理数据的时候一律采用算术平均值，而是要视数据的分布情况而定。

二、直线相关与回归分析 

这两种分析，说明的问题是不同的，既相互又联系。在做实际分析的时候，应先做变量的散点图，确认由线性趋势后再进行统计分析。一般先做相关分析，只有在相关分析有统计学意义的前提下，求回归方程才有实际意义。一般来讲，有这么两个问题值得注意：

一定要把回归和相关的概念搞清楚，要做回归分析时，不需要报告相关系数；做相关分析的时候，不需要计算回归方程。

相关分析中，只有对相关系数进行统计检验（如t检验），P<0.05时，才能一依据r值的大小来说明两个变量的相关程度。必须注意的是，不能将相关系数的假设检验误认为是相关程度的大小。举个例子：当样本数量很小，即使r值较大（如3对数据，r=0.9），也可能得出P>0.05这种无统计学意义的结论；而当样本量很大，如500，即使r=0.1，也会有P<0.05的结果，但这种相关却不具有实际意义。因此，要表明相关性，除了要写出r值外，还应该注明假设检验的P值。 
三、相关分析和回归分析之间的区别 

相关分析和回归分析是极为常用的2种数理统计方法，在环境科学及其它研究领域有着广泛的用途。然而，由于这2种数理统计方法在计算方面存在很多相似之处，因此在应用中我们很容易将二者混淆。

最常见的错误是，用回归分析的结果解释相关性问题。例如，将“回归直线（曲线）图”称为“相关性图”或“相关关系图”；将回归直线的R2(拟合度，或称“可决系数”)错误地称为“相关系数”或“相关系数的平方”；根据回归分析的结果宣称2个变量之间存在正的或负的相关关系。

相关分析与回归分析均为研究2个或多个变量间关联性的方法，但2种方法存在本质的差别。相关分析的目的在于检验两个随机变量的共变趋势（即共同变化的程度），回归分析的目的则在于试图用自变量来预测因变量的值。

实际上在相关分析中，两个变量必须都是随机变量，如果其中的一个变量不是随机变量，就不能进行相关分析。而回归分析中，因变量肯定为随机变量，而自变量则可以是普通变量（有确定的取值）也可以是随机变量。

很显然，当自变量为普通变量的时候，这个时候你根本不可能回答相关性的问题；当两个变量均为随机变量的时候，鉴于两个随机变量客观上存在“相关性”问题，只是由于回归分析方法本身不能提供针对自变量和因变量之间相关关系的准确的检验手段，因此这又回到了问题二中所讲的，如果你要以预测为目的，就不要提相关系数；当你以探索两者的“共变趋势”为目的，就不要提回归方程。

回归分析中的R2在数学上恰好是Pearson积矩相关系数r的平方。因此我们不能错误地理解R2的含义，认为R2就是 “相关系数”或“相关系数的平方”。这是因为，对于自变量是普通变量的时候，2个变量之间的“相关性”概念根本不存在，又谈什么“相关系数”呢？

四、相关分析中的问题 

相关分析中，我们很容易犯这么一个错误，那就是不考虑两个随机变量的分布，直接采用Pearson 积矩相关系数描述这2个随机变量间的相关关系（此时描述的是线性相关关系）。

关于相关系数，除有Pearson 积矩相关系数外，还有Spearman秩相关系数和Kendall秩相关系数等。其中，Pearson积矩相关系数可用于描述2个随机变量的线性相关程度，Spearman或Kendall秩相关系数用来判断两个随机变量在二维和多维空间中是否具有某种共变趋势。

因此我们必须注意的是，Pearson 积矩相关系数的选择是由前提的，那就是2个随机变量均服从正态分布假设。如果数据不服从正态分布，则不能计算Pearson 积矩相关系数，这个时候，我们就因该选择Spearman或Kendall秩相关系数。

五、t检验　

用于比较均值的t检验可以分成三类：第一类是针对单组设计定量资料的；第二类是针对配对设计定量资料的；第三类则是针对成组设计定量资料的。后两种设计类型的区别在于事先是否将两组研究对象按照某一个或几个方面的特征相似配成对子。无论哪种类型的t检验，都必须在满足特定的前提条件下应用才是合理的。

若是单组检验，必须给出一个标准值或总体均值，同时，提供一组定量的观测结果，应用t检验的前提条件就是该组资料必须服从正态分布；若是配对设计，每对数据的差值必须服从正态分布；若是成组设计，个体之间相互独立，两组资料均取自正态分布的总体，并满足方差齐性。之所以需要这些前提条件，是因为必须在这样的前提下所计算出的t统计量才服从t分布。

t检验是目前在科学研究中使用频率最高的一种假设检验方法。t检验方法简单，其结果便于解释。简单、熟悉加上外界的要求，促成了t检验的流行。但是，由于我们对该方法理解得不全面，导致在应用过程中出现不少问题，有些甚至是非常严重的错误，直接影响到结论的可靠性。

常见错误：不考虑t检验的应用前提，对两组的比较一律用t检验；将各种实验设计类型一律视为多个单因素两水平设计，多次用t检验进行均值之间的两两比较。以上两种情况，均不同程度地增加了得出错误结论的风险。而且，在实验因素的个数大于等于2时，无法研究实验因素之间的交互作用的大小。

正确做法：当两样本均值比较时，如不满足正态分布和方差齐性，应采用非参检验方法（如秩检验）；两组以上的均值比较，不能采用t检验进行均值之间的两两比较。

因此我们必须注意，在使用t检验的时候，一定要注意其前提以及研究目的，否则，会得出错误的结论。

六、常用统计分析软件   

国际上已开发出的专门用于统计分析的商业软件很多，比较著名有SPSS(Statistical Package for SocialSciences)、SAS(Statistical AnalysisSystem)、BMDP和STATISTICA等。其中，SPSS是专门为社会科学领域的研究者设计的（但是，此软件在自然科学领域也得到广泛应用）；BMDP是专门为生物学和医学领域研究者编制的统计软件。

当然，excel也能用于统计分析。单击“工具”菜单中的“数据分析”命令可以浏览已有的分析工具。如果在“工具”菜单上没有“数据分析”命令，应在“工具”菜单上运行“加载宏”命令，在“加载宏”对话框中选择“分析工具库”。

特别推荐一款国产软件——DPS，其界面见附图。其功能较为强大，除了拥有统计分析功能，如参数分析，非参分析等以外，还专门针对一些专业编写了专业统计分析模块，随机前沿面模型、数据包络分析(DEA)、顾客满意指数模型（结构方程模型)、数学生态、生物测定、地理统计、遗传育种、生存分析、水文频率分析、量表分析、质量控制图、ROC曲线分析等内容。有些不是统计分析的功能，如模糊数学方法、灰色系统方法、各种类型的线性规划、非线性规划、层次分析法、BP神经网络、径向基函数(RBF)等，在DPS里面也可以找到。

皮尔逊积差相关系数与斯皮尔曼等级相关系

积差相关系数

编辑

(Correlation coefficient)

相关表和相关图可反映两个变量之间的相互关系及其相关方向，但无法确切地表明两个变量之间相关的程度。著名统计学家卡尔·皮尔逊设计了统计指标——相关系数。　依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性相关关系的统计指标称为相关系数（相关系数的平方称为判定系数），将反映两变量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数。将反映多元线性相关关系的统计指标称为复相关系数、复判定系数等。

相关系数的值介于–1与+1之间，即–1≤r≤+1。其性质如下：

* 当r>0时，表示两变量正相关，r<0时，两变量为负相关。

* 当|r|=1时，表示两变量为完全线性相关，即为函数关系。

* 当r=0时，表示两变量间无线性相关关系。

* 当0<|r|<1时，表示两变量存在一定程度的线性相关。且|r|越接近1，两变量间线性

关系越密切；|r|越接近于0，表示两变量的线性相关越弱。

* 一般可按三级划分：|r|<0.4为低度线性相关；0.4≤|r|<0.7为显著性相关；

0.7≤|r|<1为高度线性相关。

在统计学中,变量按变量值是否连续可分为连续变量与离散变量两种.在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值.例如,生产零件的规格尺寸,人体测量的身高,体重,胸围等为连续变量,其数值只能用测量或计量的方法取得.反之,其数值只能用自然数或整数单位计算的则为离散变量.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用计数方法取得.

2性质

编辑

符号x如果能够表示对象集合S中的任意元素，就是变量。如果变量的域(即对象的集合S)是离散的，该变量就是离散变量；如果它的域是连续的，它就是连续变量。连续变量由于不能一一列举其变量值，只能采用组距式的分组方式，且相邻的组限必须重叠。如以总产值、商品销售额、劳动生产率、工资等为标志进行分组，就只能是相邻组限重叠的组距式分组。[1]

3区分

连续变量（continuous variable）与离散变量（discrete variable）[2]的简单区分

方法

连续变量与离散变量的简单区别方法：连续变量时一直叠加上去的，增长量可以划分为固定的单位，即：1,2,3…… 例如：一个人的身高，他首先长到1.51，然后才能长到1.52，1.53……；在百度贴吧中，用户首先要有1个粉丝，其后他才能有2,3……位粉丝。

而离散变量则是通过计数方式取得的，即是对所要统计的对象进行计数，增长量非固定的，如：一个地区的企业数目可以是今年只有一家，而第二年开了十家；一个企业的职工人数今年只有10人，第二年一次招聘了20人等。

分类变量可分为无序变量和有序变量两类。

释义

无序分类变量（unordered categorical variable）是指所分类别或属性之间无程度和顺序的差别。，它又可分为①二项分类，如性别（男、女），药物反应（阴性和阳性）等；②多项分类，如血型（O、A、B、AB），职业（工、农、商、学、兵）等。对于无序分类变量的分析，应先按类别分组，清点各组的观察单位数，编制分类变量的频数表，所得资料为无序分类资料，亦称计数资料。有序分类变量有序分类变量（ordinal categorical variable）各类别之间有程度的差别。如尿糖化验结果按－、±、+、++、+++分类；疗效按治愈、显效、好转、无效分类。对于有序分类变量，应先按等级顺序分组，清点各组的观察单位个数，编制有序变量（各等级）的频数表，所得资料称为等级资料。数据分析培训