使用R对共线性检验

高维数据常会出现共线性 、变量选择等问题 。如何消除共线性确定最佳模型，是回归分析的一个重点。 传统的最小二乘估计在处理多重共线性问题上 往往有令人不太满意的地方， 主要有两点: 一是 预测准确性，二是模型可解释性。 目前处理严重共线性的常用方法有以下几种: 主成分回归、逐步回归、岭回归等， 这些方法有各自的优缺点 多重共线性的Lasso 方法兼有子集选择和岭估计的优点，同时进行变 量选择与未知参数估计。选择最佳模型的标准有 Cp、AIC、BIC准则，它们也有各自的适用范围。（Mallows Cp 统计量用来作为逐步回归的判停规则，对于一个好的模型，它的Cp统计量非常接近于模型的参数数目）

Robert Tibshirani （就是R中MASS以及 The Elements of Statistical Learning的作者之一）于 1996 年提出了一种新的变 量选择技术Lasso，即 Least Absolute Shrinkage and Selection Operator 就是翻译过来颇显别扭的套索回归， lasso方法用模型系数的绝对值 函数作为惩罚来压缩模型系数，使一些回归系数变 小，甚至使一些绝对值较小的系数直接变为0 。
本文先从普通回归说起：
R语句如下

[plain] view plain copy

    library(car)  
    D=read.csv("/Users/Documents/train_test_model/ridgereg1.csv",sep=",") # 加载数据  
    a=lm(y~., data=D);summary(a) # 定义模型，summary为输出汇总  
    vif(a) # 输出模型汇总 
得到一下拟合检验参数
[plain] view plain copy

    Call:  
    lm(formula = y ~ ., data = D)  
    Coefficients:  
                 Estimate Std. Error t value Pr(>|t|)      
    (Intercept) 11.011694   1.718393   6.408 4.94e-06 ***  
    long         1.692736   0.369589   4.580 0.000232 ***  
    touwei      -2.158831   0.535513  -4.031 0.000783 ***  
    weight       0.007472   0.001144   6.531 3.87e-06 ***  
    ---  
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1  
      
    Residual standard error: 1.163 on 18 degrees of freedom  
    Multiple R-squared:  0.9754,    Adjusted R-squared:  0.9713   
    F-statistic: 238.1 on 3 and 18 DF,  p-value: 1.14e-14  
    long  
    200.013181140721  
    touwei  
    209.429825510575  
    weight  
    9.68788132590006 

通过vif方差膨胀因子可以知道上面三个变量存在严重的共线性，有书中规定超过10就算存在严重共线性同时分析回归系数，婴儿的头围越大，年龄应该越大才对，不应该是负向预测关系，从这里也可以看出一些端倪以上是我们依据数据诊断出多元回归中自变量存在严重共线性，当然在spss中也是可以直接选择，杜宾-瓦特森检验，也是统计分析中常用的一种检验序列一阶自相关最常用的方法。所以不能直接使用常规ols方法。于是请看下面的解决办法。#我们进一步的对检测回归分析的另一个前提--即方差齐性
[plain] view plain copy

    library(MASS)  
    install.packages("gvlma") #导入gvlma包  
    library(gvlma)  
    gvmodel <- gvlma(a)  
    summary(gvmodel)  
得到如下参数

[plain] view plain copy

    Call:  
    lm(formula = y ~ ., data = D)  
    Residuals:  
    Min       1Q   Median       3Q      Max   
    -1.87262 -0.69499 -0.09376  0.74618  2.80676   
    Coefficients:  
    Estimate Std. Error t value Pr(>|t|)      
    (Intercept) 11.011694   1.718393   6.408 4.94e-06 ***  
    long         1.692736   0.369589   4.580 0.000232 ***  
    touwei      -2.158831   0.535513  -4.031 0.000783 ***  
    weight       0.007472   0.001144   6.531 3.87e-06 ***  
    ---  
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1  
    Call:  
    gvlma(x = a)   
    Value p-value                   Decision  
    Global Stat        6.6421 0.15605    Assumptions acceptable.  
    Skewness           0.7794 0.37733    Assumptions acceptable.  
    Kurtosis           0.1147 0.73484    Assumptions acceptable.  
    Link Function      1.7108 0.19088    Assumptions acceptable.  
    Heteroscedasticity 4.0372 0.04451 Assumptions NOT satisfied!  
可以得出，异方差性违反，也违反了普通最小二乘建模的前提。如果还是不死心，我们来看看残差分析吧。
#建模试试，看是否存在异常

[plain] view plain copy

    lm.sol<-lm(y~.,data=D)  
    summary(lm.sol)  
    #可视化，残差与预测散点图  
    plot(fitted(lm.sol), resid(lm.sol),  
    cex=1.2, pch=21, col="red", bg="orange"  
    xlab="Fitted Value", ylab="Residuals") 

当描绘的点围绕残差等于0的直线上下随机散布，说明回归直线对原观测值的拟合情况良好。否则，说明回归直线对原观测值的拟合不理想。 在标准化残差图中，大约有95.45%的残差在-2到+2之间 同时，也可以识别异常点，标准化残差小于-3或者大于+3时，就可以判断为异常值。
那么最后大概是可以相信这个模型用最小二乘法是并不合适。