数据分析师眼中的数据真相

随着大数据概念的普及和人们对数据价值认识的不断深入，数据分析越来越受到人们的重视，尤其是在企业中，现在很多做销售、市场的企业人员已经开始用数据说话，很多企业也已经开始借助数据进行决策和管理，量化经营的理念正逐步深入人心。与此同时，专业的数据分析师也逐渐进入人们的视野，被评为未来十年最有前途的十大职业之一。

作为一名数据分析师，保持对数据的敏感性是最基本的要求之一，这里所说的数据敏感性不仅是指能够发现隐藏在数据之间的关系和规律，还包括能够辨别数据的真伪。因为随着数据产生量的爆炸式增长，一些假的、有问题的数据也不断出现，这些数据有些是由抽样误差或采集过程引起的，有的则是出于某种目的人为造成的，而且有些错误的数据还非常隐蔽，往往容易被人忽视，从而造成错误的判断甚至因此蒙受巨大的经济损失。作为一名数据分析师，对待这类数据不能人云亦云，需要有自己的认识和理解，要透过数据的表面看背后的真相和存在的问题，下面举几个日常生活中常见的数据案例来说明如何看清数据的真相。

1、失业率

失业率是我们大家都非常熟悉的一个指标，也是政府制定相关政策的一个重要依据。这些年，中国政府一直将失业率控制在4%以下作为一项重要的执政目标，每年也都基本实现了这一目标，然而，以大多数人的感受来说，实际的失业率似乎比4%要大，而且有时候感觉会差很多。那么，到底是什么原因造成了实际统计数据与民众自身感受之间的这种差距呢？要弄清这一问题，我们首先应该看一下失业率的概念和统计方法。

失业率是失业人口占劳动力人口的百分比。世界上大多数国家都采用两种失业统计方法。一种是行政登记失业率，另一种是劳动力抽样调查失业率。两种失业率都是政府决策的重要依据。中国之前一直采用城镇登记失业率来衡量失业情况。城镇登记失业率是指在报告期末城镇登记失业人数占期末城镇从业人员总数与期末实有城镇登记失业人数之和的比重。分子是登记的失业人数，分母是从业的人数与登记失业人数之和。在城镇单位从业人员中，不包括使用的农村劳动力、聘用的离退休人员、港澳台及外方人员。城镇登记失业人员是指有非农业户口，在一定的劳动年龄内（16岁以上及男50岁以下、女45岁以下），有劳动能力，无业而要求就业，并在当地就业服务机构进行求职登记的人员。

由城镇登记失业率的计算方法我们不难看出，一系列限制使得这一指标的代表性大为降低。由于很多真正失业的人不一定去登记，加上农村的农民就业没有包括在里面，而最近几年2.5亿农民工群体已成为一支不容忽视的就业群体，而且随着人们寿命的延长，45到60岁之间的人仍工作在第一线，然而他们却都没有被纳入到城镇登记失业率的统计范围之内，因此实际每年公布的登记失业率数字，比调查失业率要低。这也成为城镇登记失业率饱受诟病的原因，也是造成实际每年公布的失业率与我们每个人的切身感受相差较大的最根本原因。

正是基于城镇登记失业率这些明显的缺陷，中国政府决定，从2011年开始，不再使用“城镇登记失业率”这一指标，而采用“调查失业率”。 2013年9月9日，中国首次向外公开了调查失业率的有关数据。国务院总理李克强在英国《金融时报》发表署名文章《中国将给世界传递持续发展的讯息》透露，“今年以来，中国经济运行稳中有进，上半年GDP同比增长7.6%；5%的调查失业率和2.4%的通胀率，均处于合理、可控范围。”5%的调查失业率，高于此前人社部公布的一二季度均为4.1%的登记失业率，可以说更具有说服力。但这一数据到底是否准确、代表性如何，需要对调查失业率的计算方法、抽样方式、方法、调查范围等深入研究之后才能判断其最终的代表性。

二、死亡率

死亡率的概念大家都不陌生，而且一般也不会产生歧义。但是如果死亡率被用在不恰当的场合，那么同样会出现问题。

以一个经常被引用的故事为例。在美国和西班牙交战期间，美国海军的死亡率是千分之九，而同时期纽约居民的死亡率是千分之十六。后来，海军征兵人员就用这两个死亡率来证明参军更安全。那么，这个结论正确吗？显然是不正确，因为这两个数字根本就是不匹配的，当兵的一般都是身强力壮的年轻人，而居民的死亡率是包括老弱病残等各类人群的一个综合数据，而老弱病残者又是主要的死亡人群构成者，这些人拉抬了整个居民的死亡率。所以正常应该是用同年龄段的海军和纽约居民的死亡率来作对比，从而判断参军是否安全。一般情况下，相同年龄段的海军死亡率应该是高于居民死亡率的。

这一案例说明数据之间要具有匹配性才能进行对比。不具有可比性的数据有时候会很隐蔽。不容易发现，这就需要分析师有更敏锐的观察能力。比如某个零售企业想计算2013年11月前十天的销售比去年同期增长了多少，表面上来看这两个数据是可以直接对比的，有匹配性。实际上对以规律性非常强的零售企业来说，周末对销售的影响是非常大的。翻开日历会发现，2013年11月的1~10日比2012年11月同期多一个“星期天”，这就容易使对比结果出现误差。 因此，对零售企业来说，最好以周来进行对比。     

三、离婚率

中国离婚率连年递增，婚外情成婚姻最大杀手，从年龄结构看22~35岁人群是离婚主力军，36~50岁年龄段是婚姻平稳期，50岁以上人群离婚率上扬，从教育背景看，学历高低与离婚率高低成反比，学历越低，离婚率越高，学历越高，离婚率越低。这些结论似乎与我们的日常感受比较吻合，但需要注意的是离婚率的计算公式是否科学合理。现行的离婚率公式是这样的：离婚率＝离婚数/结婚总数，乍一看，没有任何问题。以2012年为例，2012年的离婚率就是2012年离婚数除以2012年结婚数？但仔细研究会发现，2012年离婚的人和结婚的人根本就不是一个概念。这样计算的结果容易广大人民群众造成误解！

实际的离婚率计算公式应该是：2002年结婚人群在2012年的离婚率＝2002年结婚且2012年离婚总数/2002年的结婚总数。此外，如果我们对2002年结婚人群从2002年开始到2012年为止，每年都计算一个离婚率的话，还可以分析每年的离婚率变化情况，是否真在第七年的时候达到最高值，即通常所说的七年之痒是否真的存在。

与离婚率的概念类似，很多零售企业每个月都会计算的退货率，也需要分门别类才能正确的计算出来的。

以上仅仅列举了几个日常生活中常见指标的数据陷阱问题，实际生活中这样的例子还有很多。有时候是数据的确有错误，有时候数据虽然正确，但计算方法或者使用场合不正确，或者对比不匹配，同样会误导我们。因此，虽然我们不能每个人都成为数据分析师，但多尝试从数据背后看问题，多培养数据敏感性，仍然会使我们获益匪浅。