京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据如何改变经济咨询服务行业
大数据已经彻底改变了国家经济的方方面面,但其在经济学领域却没有太大反响,这是一件非常奇怪的事。经过多年经济学和大数据应用前景的研究,笔者深感到大数据技术可以对经济政策分析和经济学研究产生非常深远的影响。
大数据在经济学数据使用方面的潜力
首先,大数据将彻底改变经济学使用数据的实时性。大数据收集的都是实时数据,现在很多企业都在利用实时数据,奇怪的是经济学研究却主要使用汇总数据,很少使用实时数据。汇总数据一般最精准的就是当天的数据,比如汇率,而像通胀数据则是当月的。
其次,大数据将使经济学可调用的数据集规模极度扩大。经济学研究调用的一般是成千上万个时间点(一般最小的时间点是天)的数据,相对于大数据而言,这样的研究样本是很小的,所以经济学研究对研究者的统计学功力依赖很大。然而大数据可以调用数百万、数千万甚至是更多的数据,因此研究者的统计学功力就显得没那么重要。
第三,大数据可以同时观察多个变量之间的互动。经济学常用的数据分析方法是时间序列分析,一般只能研究两个变量之间的互动,比如狭义货币是如何影响通胀的。
第四,大数据结构更少,但层次更多。比如在零售领域,传统经济学的数据收集呈矩形,有N个观察时间点和K个变量,一般K远远小于N。而大数据记载的只是一系列消费行为,其数据并非矩形,也没有更复杂的结构,你可以用统计学方法把这些数据构造成无限多个矩形数据集。
最后,大数据将彻底改变经济学对数据记录之间关系的看法。传统经济学认为每一个记录的数据都是独立的,或者可以集结成面板数据,归根结底也就是时间序列的衍生物。但大数据却非如此,比如社交网络上人与人之间的互动数据是高度复杂的,传统的经济学模型无法揭示社交网络上人与人之间的互动关系,必须使用大数据的方法。
大数据在经济政策分析和经济学研究领域的应用场景
企业运用大数据的场景主要是记录运营过程和结果,并构建涵盖范围广泛的预测类算法。比如Amazon和Netflix应用预测模型为客户推荐影视剧和书籍。预算类算法的可使用范围远远超越了电子商务。比如在医疗保险领域,保险公司通过将病人的付费情况和治疗效果数据导入预算类算法,可以计算其“风险系数”,然后通过风险系数来调整保费标准,而在大数据技术之前,“风险系数”是由病人的病史和相应的统计学分析方法来确定的。其实,大数据若应用到政府领域,也可以极大地改变经济政策分析和经济学研究。
首先,大数据会极大地释放出政府公共事务管理数据的潜在能力。通过管理税收系统、社保系统以及法规条例,政府积累了海量的颗粒状数据。公共管理数据在很大程度上没有被充分利用,主要原因是政府有关部门缺乏大数据硬件、软件和人才基础,另外这些数据也没有通过开放的端口给私营数据供应商使用,而且各地方政府的数据收集标准不一,难以统一维护和管理。在这方面,许多欧洲国家走在世界前列,其中央政府将各级地方政府的教育、医保等数据整合成了针对全国人口的大数据库。
公共管理数据的潜力非常巨大,这些数据涵盖不同个人、企业和机构相当长期的各类行为和状况,一般是面板结构的,数据质量也很高。而且由于这些数据集的涵盖面是普遍的,其可以和其它涵盖面更具选择性的数据集搭配使用。
如果政府向私营数据供应商有限开放这些公共管理数据的应用端口,对经济政策分析和经济学研究无疑将产生巨大推动。比如经济学家Thomas Piketty和Emmanuel Saez利用美国国税局的数据构建了美国最富家庭占全国收入比例的历史数据集。他们的相关研究成果对奥巴马以来的决策者产生了极大的影响,美国最富家庭所占全国收入比例和所占全国纳税总额比率的严重不对称以及日益失衡成为了决策者和立法者探讨税收政策改革的一个话题焦点。
其次,大数据可以改变政府测算经济活动的方式。政府在经济活动的测算方面扮演着极其重要的角色,比如通货膨胀率、失业率和GDP等等的测算都是由政府主导的。一般而言,政府都是通过调研的方式来测算经济活动的。比如国家统计局会派出调研员去商店手动收集成千上万商品的价格,然后将这些数据汇总成不同的通胀指数——CPI就是其中之一。然而大数据技术可以更大规模地收集物价数据,甚至可以做到实时收集。比如,由麻省理工学院斯隆商学院教授Alberto Cavallo和Roberto Rigobon发起的10亿物价项目(BPP),通过成百上千个电商网站和手机应用的端口可以收集数以10万计商品的实时价格数据,从而可以实时发布通胀数据,而不是像国家统计局那样每个月发布一次。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19在零售行业大数据分析与精细化运营领域,纸尿裤旁摆放啤酒是最经典、最具代表性的商业案例。两种看似毫无关联的商品,一个是婴幼 ...
2026-08-19 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-08-19在数据分析、业务监控、质量检测与风险管控工作中,数据波动性是衡量数据稳定性、业务健康度、结果可信度的核心依据。数据波动代 ...
2026-08-18很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当导致 ...
2026-08-18在数据分析、业务评价、产品评级、用户分层与综合决策场景中,单一指标往往无法全面、客观地评价事物整体水平。现实中的评价对象 ...
2026-08-18在数理统计、假设检验、数据分析与机器学习领域中,卡方分布(χ²分布)是继正态分布、t分布之后最重要的连续型概率分布之一。 ...
2026-08-17在Python数据清洗、文本校验、账号密码规则校验、脏数据过滤、字符串规整化处理中,正则表达式是最高效、最常用的文本匹配工具。 ...
2026-08-17 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-08-17手游行业具备用户迭代快、竞争激烈、用户粘性易流失的典型特征。随着新游持续上线、玩家审美升级、玩法疲劳等问题出现,存量用户 ...
2026-08-14在数字化产品运营、商业数据分析、业务增长管理中,零散的指标统计无法支撑系统性的业务决策。单一的点击率、转化率、销量数据只 ...
2026-08-14 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-08-14在数据库数据分析、数据清洗、报表统计与业务查询场景中,日期时间是最高频、最核心的基础字段。数据库中存储的日期格式多样,包 ...
2026-08-13在数据统计分析与数据清洗工作中,箱线图是一种简洁高效、客观性强的数据可视化图表,能够直观呈现数据集的分布特征、离散程度和 ...
2026-08-13 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-08-13在自动化办公、数据采集、定时统计、日志清理、系统监控等场景中,程序往往需要按照固定时间间隔重复执行指定任务,这种运行机制 ...
2026-08-12