R语言与点估计学习笔记（刀切法与最小二乘估计）

一、       刀切法（jackknife）

        刀切法的提出，是基于点估计准则无偏性。刀切法的作用就是不断地压缩偏差。但需要指出的是缩小偏差并不是一个好的办法，因为偏差趋于0时，均方误差会变得十分大。而且无偏性只有在大量重复时才会表现出与真值的偏差不大。Jackknife的想法在于：既然样本是抽出来的，那我在作估计、推断的时候“扔掉”几个样本点看看效果如何。

        例如我们来看使用刀切法估计正态分布N(2,25)的方差，我们认为样本的修正方差是关于总体方差的一个估计量使用刀切法：

>x<-rnorm(100,2,5)

>jack<-function(x){

+jackknife<-0

+for(i   in  1:length(x))     jackknife[i]=length(x)*var(x)-(length(x)-1)/length(x)*sum(var(x[-i]))

+ jackknife

+ }

>mean(jack(x))/length(x)

[1]26.07598

> var(x)

[1]26.33671

可以看出刀切法得到的估计量更接近总体方差。

关于刀切法，也不仅仅只是用来做参数估计的，他的用法与之前提到的bootstrap类似。

二、最小二乘估计

虽然MLe是很好的参数估计办法，它过分依赖总体分布。在不知道总体分布的情况下，又只知道一组数据，那么LSE将会是一个不错的选择。关于LSE的相关理论你可以参考任意一本数理统计的教材，比如前面提到的王兆军《数理统计讲义》（这个百度文库里有）

下面介绍一下R中的做回归的函数lm,用法如下：

lm(formula, data, subset, weights, na.action,

  method = "qr", model = TRUE, x = FALSE, y = FALSE, qr = TRUE,

  singular.ok = TRUE, contrasts = NULL, offset, ...)

仅以R中给出的example中的数据作为例子：

> ctl <-c(4.17,5.58,5.18,6.11,4.50,4.61,5.17,4.53,5.33,5.14)

> trt <-c(4.81,4.17,4.41,3.59,5.87,3.83,6.03,4.89,4.32,4.69)

> group <- gl(2,10,20,labels=c("Ctl","Trt"))

> weight <- c(ctl, trt)

> lm.D9 <- lm(weight ~ group)

> lm.D9

Call:

lm(formula = weight ~ group)

Coefficients:

(Intercept)    groupTrt 

     5.032       -0.371 

> summary(lm.D9)

Call:

lm(formula = weight ~ group)

Residuals:

   Min      1Q  Median     3Q     Max

-1.0710 -0.4938  0.0685 0.2462  1.3690

Coefficients:

           Estimate Std. Error t value Pr(>|t|)   

(Intercept)  5.0320     0.2202  22.850 9.55e-15 ***

groupTrt    -0.3710     0.3114  -1.191   0.249   

---

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.6964 on 18 degreesof freedom

Multiple R-squared: 0.07308,    Adjusted R-squared: 0.02158

F-statistic: 1.419 on 1 and 18 DF,  p-value: 0.249

可以得到常数项为5.0320，一次项系数为-0.3710

关于最小二乘估计，在时间序列模型的参数估计中也有用，在时间序列分析的学习笔记中会提到