京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据为社会科学研究提供空间
“大数据”时代的来临,既给商业、管理和公共行政带来了众多机遇,同时也在社会科学界、人文学界引发讨论的热潮。随着大数据的出现和使用,整个社会科学研究的实证基础将会出现较大变化。“大数据”概念虽热,但社会科学界基于大数据的实证研究仍然较少。一方面,大数据往往为政府、大型公司或网络媒体所持有,数据获取渠道和分析方法都与传统的社会科学定量定性分析存在很大差异;另一方面,现有的大数据并非为社会科学研究而设立,其在样本代表性、测量可靠性、因果推断等方面受到学界的诟病。不过,随着数字化图书、社交网站和搜索引擎数据的不断积累与公开,大数据在社会科学研究中的潜力已经开始彰显。
提高预测和决策的准确率
凯恩斯与哈耶克的市场与政府之争是20世纪经济学界最为重要的论战之一。这两位经济学家在理论和政策主张上的差异,深刻影响了20世纪各国经济政策制定和改革。比如,在20世纪早期,哈耶克的自由市场理念一度占据支配地位。二战后到20世纪70年代凯恩斯主义的政府干预政策更多地被采纳。在哈耶克批评计划经济的非可行性和低效率过程中,一个立足点就是“有限理性”:哈耶克从认识论角度提出计划制定者无法了解经济运行中每一个阶段的最终均衡状态。这种经济运行过程中信息的瞬息万变,会导致不可能建立全能式的生产、决策和分配等。
不过,大数据的出现有可能对“有限理性”的观点形成新的挑战。尽管目前大数据并不能实时提供市场运行中的全部信息,但大数据的方向和现代信息技术的指数式增长,有可能为哈耶克的论敌以及凯恩斯主义者提供新的反驳证据:当未来大数据对市场运行中的信息捕捉达到了空前的覆盖和密度,那么预测和决策就有了比哈耶克时代甚至当代高得多的准确率。
拓展社会科学经典理论的验证空间
大数据作为一种全新的资料,以其超越传统调查数据的样本量和时间跨度,为社会科学经典理论的验证和拓展提供了更多空间。因此,大数据在延伸和重新检视经典学说方面有着相当大的潜力。比如说,经典时期的社会学家以其深刻的洞察力为人们留下了丰富的理论遗产,不过由于理论的宏观性和复杂性,通过传统的截面数据、面板数据等抽样样本的分析,无法在经验层次上对这些理论进行检验。而大数据的出现为当今的社会科学界提供了前所未有的大跨度范围的社会数据、资料和信息,使得重新审视和延伸经典理论,尤其是宏观理论成为可能。
例如,社会分层是当代社会科学领域的重要概念。基于抽样调查数据的大量经验研究表明,主观社会地位受到客观社会地位以及相对参照群体的决定性影响。同时,跨国研究也表明,经济不平等对人们的自我阶层定位也有影响。新近利用大数据的研究则基于谷歌图书语料库811万本英语书籍、8000亿个单词的大数据,提取计算了一百年来美国书籍中阶级词汇的出现频率,以此来测量美国公众对阶层的关注程度。而对阶层关注度和美国社会百年失业率、通货膨胀、基尼系数等指标的格兰杰时间序列分析表明,在市场经济发达的美国,代表通货膨胀率和失业率之和的“经济悲惨指数”(Economic Misery)影响着阶层关注度,而基尼系数却没有统计显著的影响。这意味着,不平等对于阶层意识的作用很可能存在一种阀域效应:当社会不平等高于一定的阀值时,不平等才会对阶层意识产生作用;而当低于阀值时,是经济景气程度在影响着阶层关注度。
或缓解定量与定性之间的分歧
定量研究与定性研究是两种不同取向的研究策略,其背后蕴含着本体论、认识论和方法论上的差异。定量研究者和定性研究者常常相互指责对方的局限性,然而大数据的出现为他们提供的数据规模和全新的数据特征,在某种程度上可能会缓解分歧,甚至重构两者的关系。对定性研究者而言,大数据可以通过海量规模的样本直接展示和发现出社会现象的规律,既不需要控制变量来检验关联,更避免了定性方法在案例选择方面的样本偏差。此外,大数据可以为定性研究提供既全新又不会过于复杂的研究思维,让检索和数据描述等方法得到普遍应用。
对于定量研究者而言,目前的可用大数据往往并非专门为回归分析而设计,因此依据大数据很难进行传统意义上的回归分析和因果推断。但由于数据的海量甚至全样本的性质,一旦把基于大数据的简单关联分析或时间序列分析结果与文献中的传统回归分析进行比对,就能形成具有说服力的证据链。同时,大数据也把定量研究者的关注视野进一步开阔,从传统的定量分析领域向以往较少触及的文化现象、心理现象等领域拓展,并重新审视“描述”在定量分析中的地位。从某种意义上讲,大数据的使用使得定性和定量之间出现一个混合地带。可以预见,以描述和简单回归分析的大数据研究,将进一步融合定性定量方法的鸿沟。
为学科融合提供机遇
近代科学在理性化的指引下不断提升着专业化程度,以至于不同学科之间形成了鲜明的边界。尽管这种进程大大提高了研究效率和学术领域内的交流评估质量,但也逐渐形成了各自为政的不足。研究者在获得相当的深度的同时,往往失去了对广度的把握,并且学科边界之间形成了许多空白地带。而大数据则为学科融合提供了难得的机遇。这主要是因为,大数据的获取和分析,往往需要有别于传统社会科学训练的方法和工具。这使得原本在计算机、人工智能甚至物理、数学等领域具有专长的学者,在有意无意中不断参与到社会现象的分析队伍中来。实际上,自然科学家转型为社会科学家并非前所未有,如小世界网络研究者邓肯·瓦兹原先就是物理学家。随着大数据的出现,这样的转型案例可能会大大增多。近两年来,发表在英文刊物上的基于谷歌图书、维基百科等大数据的语言学、经济学研究论文,大多数都有计算机和自然科学家加入作者的行列。此外,由于大数据为社会科学提供了全新的分析对象,交叉学科的重要性也越来越被认识。“计算社会科学”、“应用计算科学”的方兴未艾就是典型的案例。
社会科学或出现“重返描述”潮流
当代社会科学尤其是定量分析致力于进行因果推断、提供机制性解释。由于社会人的异质性,基于非实验数据的定量分析很难避免内生性问题(遗漏变量、样本偏误、联立性等问题)。目前,社会科学研究者通过固定效应模型、倾向性匹配、工具变量等方法来加以解决以改进因果推断。从现存可用来进行社会科学分析的大数据看,它所能提供的变量有限,因此社会科学研究者很难通过大数据进行变量控制来进行传统的因果推断。然而,大数据的出现对于学术目标的进一步丰富和发展却无疑是深远的。首先,基于信息技术而兴起的大数据扩展了人类的经验范围,从而使得简单的统计描述就可以达到发现规律、展示规律的目的。这使得人们有可能凭借大数据而提出理论,而不仅仅是利用抽样数据对传统理论和假说进行证伪。其次,大数据的信息具有在时空上传统抽样数据所无法比拟的广度和深度。在大数据时代,社会科学尤其是定量社会科学可能在一定程度上将不再单纯以进行反事实因果推断、探求机制性解释为主要学科发展目标,而是出现一种“重返描述”的潮流。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在描述性统计分析、数据预处理、异常值排查与多组数据分布对比工作中,箱线图(Box Plot)是应用最广泛的可视化与统计工具之一。 ...
2026-07-15在企业数据存储、业务统计与数据分析工作中,绝大多数业务数据都带有时间维度属性,例如订单创建时间、用户注册时间、支付完成时 ...
2026-07-15 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-07-15【核心关键词】产品、经营、客户、调研、销售额、宏观、会计行业、客户满意度、发展趋势、经营状况、数据分析、竞争对手、数据 ...
2026-07-14问卷调查是市场调研、用户研究、社会调研与产品分析的核心数据采集方式。问卷数据大多以分类数据为主,例如用户性别、年龄分层、 ...
2026-07-14 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-07-14在数据分析、业务效果验证、AB实验扩展、行业对比等场景中,我们经常需要对比三组及以上样本的均值差异,例如不同区域的客单价对 ...
2026-07-13在互联网产品运营、用户生命周期管理与商业化数据分析中,留存指标是判断产品价值、用户满意度与商业模式健康度的核心基准。常规 ...
2026-07-13 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-07-13【核心关键词】统计学、互联网、知识、课程、学生、数学、软件、招聘、数据分析、实习经历、机器学习、理论基础、业务思维、统 ...
2026-07-10在互联网运营、产品设计、市场营销与商业数据分析领域,所有转化、成交、复购行为的底层逻辑,都依托于用户决策流程。用户从产生 ...
2026-07-10 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-07-10数据透视表是数据分析中最常用、最高效的汇总分析工具,具备快速分组、聚合计算、维度拆解、数据可视化等优势,能够轻松完成求和 ...
2026-07-09在统计学、CDA数据分析、机器学习与商业数据研究中,正态分布是最基础、最重要的数据分布形态。绝大多数参数检验、数据建模、指 ...
2026-07-09 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-07-09【核心关键词】采购、周期、原材料、企业、产品、成本、要素、库存、供应商、数据分析、生产计划、生产制造、加工制造、技术工 ...
2026-07-08在数据分析、特征工程、机器学习建模的工作流程中,原始数据往往包含多个不同维度的数值指标,例如客户交易数据中的消费金额、交 ...
2026-07-08 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-07-08商业谈判是企业采购合作、渠道签约、价格议价、项目合作、客户签约的核心关键环节,直接决定企业的合作成本、利润空间与经营风险 ...
2026-07-07在数据分析、业务效果验证、AB 测试、学术研究等场景中,T 检验是假设检验体系里最基础、应用最广泛的统计方法,也是均值差异分 ...
2026-07-07