
经济学家为何在大数据浪潮面前如此淡定
大数据如今被各行业追捧,但是有个现象还是值得注意的——在经济学领域,关于大数据应用的文章却不多。按理说,经济学是社会科学中最“科学”的一支,又以其“帝国主义”的霸权思想全方位侵入各个社科领域,为何在大数据浪潮面前如此淡定?不冲上去做一个弄潮儿?
小编个人觉得这大概与数据的特性有关,经济学使用数据的重点在于identification,而当前的大数据因为数据生产过程不透明及样本偏差等,难以做出学界认可的结果。
不明白的话,我们来看一个研究的例子,来说明为什么是这样:
之前某公共号推送了一篇文章,讲施新政、李宏彬和吴斌珍三位老师合作撰写的American Economic Review Papers and Proceedings论文“The Retirement Consumption Puzzle in China”,实证考察了中国居民的退休消费情况。文章的背景如下:
根据平滑消费理论,人们会调整一生各阶段的消费水平使之大致相当。然而,大量文献却发现人们的消费水平会在退休后发生大幅度下降,这与平滑消费理论发生了冲突。许多学者都试图从不同角度对此进行解释,本文作者也加入了这一行列。
在介绍作者思路之前,先来思考一下,如果我们用“大数据”要怎么做?
首先搞消费研究那得找万能的淘宝和京东啊,假设我们拿到了所有淘宝、京东的数据,知道大家都买买买了什么。然而这里有个问题,要研究的是消费水平是否会在退休后大幅度下降,退休的人都用这两个平台吗?!这里面临了大数据的问题一:所有的企业的用户数据和真实的人口都存在偏差,而且往往偏差很大。就拿相对最全的银行数据来说(金融方面),覆盖的也往往是本行的用户数,选择某一银行的人可能本身就有样本偏差,而且还不一定能覆盖其它如股票、信托等金融方式。
那么我们假设所有中国人都用淘宝和京东,这样是不是就可以了呢?
也不行。
因为你不是所有东西都在这上面买,我买个包子、买根葱,总不至于也上京东吧?
那我们假设全国菜市场也都联网了,我知道你都买了多少菜,多少鱼,总行了吧?
可能还是不行。
因为我如果根本就不去买,退休后在家里自己种菜呢?自己蒸馒头呢?而且这种现象恐怕不稀少吧?这都会造成数据的系统性偏差。
让我们来看看作者们是怎么分析数据中消费品类型的影响的:
在本文作者看来,现有研究的实证分析尚存在一些不足:首先,现有研究对消费的定义并不完善。消费中有一部分是与工作相关或者可以被家庭内部生产所替代。在考察退休前后消费是否满足平滑消费理论时,应该先将这一部分剔除。然而,大多数现有研究由于数据的局限而未能这么做。其次,现有研究面临内生性问题。退休与否是一个高度内生的决策变量,不考虑退休内生性的实证考察结果很有可能存在偏误,进而也无法明确得到退休与消费之间的因果联系。
作者们在处理这一研究问题的时候还是采用了“传统数据”,中国城市家庭调查数据(China's Urban Household Survey, UHS),对消费内容进行了细致的分解,分出了工作相关消费、可被家庭生产替代的消费及其他消费。
对于内生性的问题:本文利用中国的强制退休政策,借助断点回归策略(RD)有效处理了内生性问题。中国的很多单位都实行强制退休政策(主要是政府、公共部门、国有企业、集体企业,男性60岁、女性55岁),作者基于此比较考察了退休前后年龄段人群所在家庭的消费变化情况。
作者们得出的结论是:
退休确实会使家庭的非耐用品消费显著下降21个百分点。不过这一下降主要是由工作相关开支减少、食品消费由在外进行转变为在家进行所造成的。其中后者主要是由于家庭内部食品消费价格更加低廉,而且退休群体有充足的时间在家准备食品。在剔除了这两项之后,作者发现退休并未对其他非耐用品消费造成显著影响,即平滑消费理论针对其他非耐用消费品仍然成立。
当然,要知道UHS的数据可不是想拿就能拿到的,现在经济学研究高质量数据变得非常非常重要,而且只要数据质量够好,根本不需要复杂的模型。有研究表明,经济学主流期刊上面OLS仍然是使用最多的回归方式,而不是什么DID,RD,GMM。
结论
其实经济学家对数据是非常敏锐的,早已经不局限在传统的统计年鉴、普查数据,他们扒地方志及历史文献,用气象数据、遥感数据,现在也有非常多的研究开始写爬虫抓互联网数据。所以经济学家不是不用数据,也不是不用大量的数据,而是对“大数据”的使用持审慎的态度。
本文举的例子主要是想说明数据的选择与研究问题的需求密不可分,这一点不论数据"大小"。很多时候,研究人员并不能很好地了解拿到的大数据的产生方式,及可能存在的偏差,导致使用起来会比较盲目。特别地,互联网公司的业务变化速度非常快,算法脚本经常更新,用户结构性的变化也不小,这些对于外部研究者都是很难了解的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11在机器学习建模流程中,“特征重要性分析” 是连接 “数据” 与 “业务” 的关键桥梁 —— 它不仅能帮我们筛选冗余特征、提升模 ...
2025-10-11在企业的数据体系中,未经分类的数据如同 “杂乱无章的仓库”—— 用户行为日志、订单记录、商品信息混杂存储,CDA(Certified D ...
2025-10-11在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10