天文中的那些大数据_数据分析师

大数据是领域相关的，如今大数据在各个领域都有着卓越的表现。比如，苏州政府、中石油等都使用大数据魔镜——免费的大数据可视化分析工具对自己领域的大数据进行了分析与挖掘。政府、企业与医疗等机构的数据涉及到安全、利益与隐私问题，要开放与共享是有难度的。但是如果研究大数据的处理技术，而不是去挖掘具有商业价值的大数据，不妨换个思路，用不涉及安全、利益与隐私问题的大数据作为数据源。

被誉为“大数据时代的预言家”维克托•迈尔•舍恩伯格的国外大数据系统研究的先河之作《大数据时代:生活、工作与思维的大变革》书里“大数据先锋”一节中写到：“天文学，信息爆炸的起源“。

只有考虑到社会各个方面的变化趋势，我们才能真正意识到信息爆炸已经到来。我们的数字世界一直在扩张。以天文学为例，2000年斯隆数字巡天（Sloan Digital Sky Survey）项目启动的时候，位于新墨西哥州的望远镜在短短几周内收集到的数据，已经比天文学历史上总共收集的数据还要多。到了2010年，信息档案已经高达1.4×242字节。不过，预计2016年在智利投入使用的大型视场全景巡天望远镜（Large SynopticSurvey Telescope，LSST）能在五天之内就获得同样多的信息。天文学领域的变化在各个领域都在发生。”

从上可知，天文学是最早迎接大数据挑战的领域。随着天文观测技术的发展，天文学已经进入了一个信息丰富的大数据时代，天文数据正在以TB级甚至PB量级的速度不断增长。目前国际上已有多个国家进行了大规模的巡天项目，除SDSS（Sloan Digital Sky Survey）外，还有Pan-STARRS1（The Panoramic Survey Telescope and Rapid Response System）、WISE (Wide-field Infrared Survey Explorer)、 2MASS (Two Micron All Sky Survey)、Gaia 、UKIDSS （UKIRT Infrared Deep Sky Survey）、NVSS（The NRAO VLA Sky Survey）、FIRST(Faint Images of the Radio Sky at Twenty-cm)、 2df (Two-degree-Field Galaxy Redshift Survey)、LAMOST（The Large Sky Area Multi-ObjectFiber Spectroscopic Telescope –郭守敬望远镜）等等，这些巡天项目每天都在产生着海量的天文数据。目前，业界对大数据的看法不尽相同，但大数据应具备的4V特征已达成共识，即：Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（精确）或 Value （价值）。天文数据具备4V特征，因此天文数据是大数据。在难以获取其他大数据时，不妨考虑根据天文学领域的需求，结合计算机科学、模式识别、系统科学等相关学科领域的理论与方法，研究与发展天文大数据的处理技术。

不同于其他具有商业价值的大数据应用领域，研究天文大数据是面向基础自然科学研究领域的应用。相信可以推动对大数据研究的的发展，在研究技术上形成百花齐放的局面。