大数据下的统计学:问题优先而非解法优先

在大数据时代，统计学应当如何发挥它的优势？很多统计学家都在探讨这个问题，包括Steve M. 和Larry W. 也在他们的博客探讨了有关的内容。而笔者的科研方向主要是研究基因组学，也通常被列为统计学和统计学家发挥巨大作用的“大数据”的领域之一，所以对这个问题也思考了一段时间。

一个自然而然的问题就是：“为什么在基因学研究中，统计学家可以取得如此大的成功？”笔者这里想借用Brian C.的一句话来解释：Problem first, not solution backward （问题优先而非解法优先）

在当下，“大数据”这个词的广泛应用得益于数据的获取变得越来越便宜。一个例子就是DNA序列扫描的价格。在其他领域中也是一样，例如人体运动的数据记录，Fitbits，Google books，Twitter上的社交网络数据等等。这些数据的获取或许在十年前有着令人生畏的价格，但现在却绝非难事。

作为一名统计学家，我们希望从这些非常不同的领域中寻找大数据普适的原则：

1.这些数据都无法在一个简单的笔记本电脑上进行分析（不论从几千兆到兆兆字节）。

2.这些数据形式复杂，结构庞杂，如有非结构化的文字信息，有缺失很多数据的json文件，含有质量指标的fastq文件等等等等。

那么为什么在基因研究中，统计学家能取得如此大的成功呢？在笔者看来，很多原因就是干这一行的统计学家愿意花上很长的时间，去处理那些很细节的数据问题。比如，在大数据上运行哪怕是最为简单的统计模型，也要花上数个小时的时间，抑或处理一个得到的基因序列并对它们进行必要的修复也同样是非常耗时耗力。正因为愿意去花时间理解并处理这些很实际的、很细节的问题，统计学家才能得到那些别人无法得到的数据，才使得统计学家在基因学科上取得了今天的成就。

这些事情并不轻松，也并不“高雅”。很多统计学家也不称之为“统计”。Steve在他的博客中提到：“坦诚地说，我对于现在的统计学很少能提出有价值的新观点表示失望。”我想，他的观点是有很多统计学家赞同的。大意是说由于在大数据上面目前没有什么好的理论提出，所以在大数据方面也就没什么值得称为上乘的“新观点”。他们的这种观点就是solution backward （解法优先）：我们需要漂亮的理论，然后把它应用到具体问题。

与之不同，我们提出的方式，就是problemforward （问题优先）。正因为当下得到数据变得越来越便宜，我们也就可以分析和学习很多以前无法完成的课题。计算机科学，物理学，生物基因以及其他一些领域在大数据上面一直保持领先正因为他们的研究者在数据分析上并不一定需要一个统计上“完美”的解答。他们更关注有科学意义的问题并愿意花时间，精力去处理那些繁琐的“大数据”来进行分析，从而达到目的。因此，他们能获得别人从未研究过的数据并从中提炼有价值的部分。

在基因学科中就有着很好的例子。DNA晶片的发明，对这个领域产生了革命性的影响。而后统计学家进入这个领域。他们和其他科研人员一起为了同样的科学问题，在实际数据上投入了大量的时间，精力来完成数据处理，或者开发能够处理数据的软件。在笔者看来，想要在大数据时代真正做出成果，首先要专注于那些有意义的科学问题，然后才是提出能解决科学问题的统计方法。这就需要我们重新去思考统计学。那些比如并行计算，数据再加工，数据可复制性，软件开发等等问题，其实和纯统计理论方法同样的重要。

当然，在大数据时代，统计学有着广泛的发挥空间，用我们独特的技能去处理这些新问题中的不确定性，但是这一切的前提都是我们要首先愿意去为了科学目标来处理那些关于数据方面繁琐的工作。