京公网安备 11010802034615号
经营许可证编号:京B2-20210330
透过现象看本质 大数据核心并不在规模大
大数据之所以可以飞速发展,得益于互联网以及各种智能设备的发展,人们的行为、位置、生理特征等等,无时无刻不在生成数据被这些设备所采集。
而大数据的核心并不在规模大,而是它蕴含的是计算和思维方式的转变。大数据的推崇者认为所有通过数据的分析都事正确的;认为数据捕捉全面,所以可以摒弃过去传统的抽样统计的方法;认为人们只需要知道数据之间有统计相关性就行,数据已经达到可以自己做出结论了。
通过现象看本质 不要曲解数据
上述这些观点过于乐观,事实并非如此。在我们有了足够多的数据时,往往不能看直接的结果,需要对数据进行进一步分析。比如英国二战时期空战的例子,每次能回来的战斗机机翼上有很多枪眼,于是工程师们就加强防护,但增加了防护之后,飞机的损失率反而提高了,于是统计学家 Wald改变思维模式,在没有枪眼的部位加强防护,最后效果很好。
数据并非绝对全面
前段时间,淘宝做过几个基于网购的大数据调查分析,主要以娱乐为主,得出了一些很有趣的结果。但也不难看出,虽然淘宝的注册用户高达几亿,但是所统计的数据中,并不是所有用户都购买了所统计的产品,也有部分用户不是用自己账号购买商品,淘宝也有很多刷单的情况等等。
不确定的情况很多,喜欢网购的人群是受限制的,他们并不能代表所有的消费群体。我们不能说网上的统计结果没有意义,但是也不能夸大这种只有部分代表性的结果,否则我们可能会被误导。
《大数据》这本书的联合作者,牛津大学互联网中心的Viktor Mayer-Schonberger教授说,“他最喜欢的对于大数据集合的定义是‘N=所有’,在这里不再需要采样,因为我们有整个人群的数据。”当“N=所有”的时候确实不再有采样偏差的问题,因为采样已经包含了所有人。
结语
对于大数据,统计学家们正争先恐后的为大数据开发新的工具。这些新的工具当然很重要,但它们只有在吸取而不是遗忘过去统计学精髓的基础上才能成功。不能过度崇拜大数据,要善用大数据,大数据所反映出的结果是需要人们进行科学的分析和提取的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在描述性统计分析、数据预处理、异常值排查与多组数据分布对比工作中,箱线图(Box Plot)是应用最广泛的可视化与统计工具之一。 ...
2026-07-15在企业数据存储、业务统计与数据分析工作中,绝大多数业务数据都带有时间维度属性,例如订单创建时间、用户注册时间、支付完成时 ...
2026-07-15 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-07-15【核心关键词】产品、经营、客户、调研、销售额、宏观、会计行业、客户满意度、发展趋势、经营状况、数据分析、竞争对手、数据 ...
2026-07-14问卷调查是市场调研、用户研究、社会调研与产品分析的核心数据采集方式。问卷数据大多以分类数据为主,例如用户性别、年龄分层、 ...
2026-07-14 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-07-14在数据分析、业务效果验证、AB实验扩展、行业对比等场景中,我们经常需要对比三组及以上样本的均值差异,例如不同区域的客单价对 ...
2026-07-13在互联网产品运营、用户生命周期管理与商业化数据分析中,留存指标是判断产品价值、用户满意度与商业模式健康度的核心基准。常规 ...
2026-07-13 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-07-13【核心关键词】统计学、互联网、知识、课程、学生、数学、软件、招聘、数据分析、实习经历、机器学习、理论基础、业务思维、统 ...
2026-07-10在互联网运营、产品设计、市场营销与商业数据分析领域,所有转化、成交、复购行为的底层逻辑,都依托于用户决策流程。用户从产生 ...
2026-07-10 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-07-10数据透视表是数据分析中最常用、最高效的汇总分析工具,具备快速分组、聚合计算、维度拆解、数据可视化等优势,能够轻松完成求和 ...
2026-07-09在统计学、CDA数据分析、机器学习与商业数据研究中,正态分布是最基础、最重要的数据分布形态。绝大多数参数检验、数据建模、指 ...
2026-07-09 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-07-09【核心关键词】采购、周期、原材料、企业、产品、成本、要素、库存、供应商、数据分析、生产计划、生产制造、加工制造、技术工 ...
2026-07-08在数据分析、特征工程、机器学习建模的工作流程中,原始数据往往包含多个不同维度的数值指标,例如客户交易数据中的消费金额、交 ...
2026-07-08 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-07-08商业谈判是企业采购合作、渠道签约、价格议价、项目合作、客户签约的核心关键环节,直接决定企业的合作成本、利润空间与经营风险 ...
2026-07-07在数据分析、业务效果验证、AB 测试、学术研究等场景中,T 检验是假设检验体系里最基础、应用最广泛的统计方法,也是均值差异分 ...
2026-07-07