三招揪出问卷中的李鬼_数据分析_大数据

相信许多做个调查报告的人都会有这样的问题——问卷的不真实使得数据分析不能。但是如果能在问卷整理的时候就及时发现问题，那么你就不会在deadline的前夜被劣质的数据折磨的如此狼狈不堪。现在，我"数据分析师"分享一下数据抓鬼的三班斧，一来能帮你审核数据、辨识真假，使得从统计秘籍上学来的分析招数能有用武之地；二来也能间接自律一下前线的调研，顺便整治一下市调行业的不良之风。
 第一招：设置同质题目，一个问题，多处提问。
      同质题目是指一个问题在问卷中设置两种问法，对一个受访者访问两次，只要这两个答案不一致，哈哈虚假数据！比如：年龄和身份证号码一起问，小孩的年龄与年级一起问。还有就是利用态度量表，设计正反问法。例如在一份测度啤酒消费习惯的态度量表中，问题1是：“我很喜欢喝啤酒”和问题5是“要不是应酬的需要，我绝对不喝啤酒”一对同质问题，设置“非常符合、比较符合、不太符合、与表述相反” 并赋值“1、2、3、4”。当某个案，问题1与问题5的选项之和超出【4，6】的范围，我们可以判定是虚假个案。比如：问题1选1，问题5选2，两者相加得分为3；问题1选3，问题5选4，两者相加得分为7。3分和7分都超出了所能容忍的范围，判处该个案死刑。
 第二招：测度选项比例，判定虚假。
    一般来说，数据分析师通过分析每一份个案中同一选项的比例，可以发现虚假数据。比如，在某个30道题目的调查问卷中，某选项的比例超过70%，比如70%的选项全是C，则可将该份问卷判定为虚假问卷。同理，通过计算某个访问员所有调查问卷中选项的比例，如果某一项的比例超过阀值，则可以认定该访问员造假。那么不要手软，坚决对该访问员判死刑。
 第三招：测度总分分布，衡量整体质量。
    这里重点介绍如何通过测度数据的分布，来判定调查问卷数据的可靠性。以满意度调查为例。数据分析师在对数据量表量化之后，可以计算出每个个案所有量表的总分。比如，一共有30题，每题的得分范围为1-10分。那么总分的理论取值范围就是30-300。如果我们一共收集了500份问卷，那么就应该有500个总得分。理论上讲，一项服务的满意度应该服从正态分布。因为大多数被访者的评价应该差不多，高分和低分的评价应该比较少。当然，这只是经验判断。那么现在我们来看，调查结果的总得分分布，如果接近正态分布，则可以说明该调查数据是可信的。如果数据远远偏离正态分布，则认为该数据存在比较严重的质量问题。这样任何分析都是没有意义的，应该对本次调查判死刑。
招外招：记录填写时间，越短越可疑。
    最后，分享一个招外招。如果你做的是网络调查，那么这一招很管用，堪称绝招。具体做法就是系统自动记录用户的答题时间。如果用户答题所用的时间很短，则认为该用户纯粹是在骗奖品。如果你们的服务器很牛b，牛b到可以记录被访者填写每一道题目的时间耗费，那么纵然李鬼潜伏的再深，也得乖乖束手就擒。cda数据分析师培训