京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据为社会科学研究提供空间
“大数据”时代的来临,既给商业、管理和公共行政带来了众多机遇,同时也在社会科学界、人文学界引发讨论的热潮。随着大数据的出现和使用,整个社会科学研究的实证基础将会出现较大变化。“大数据”概念虽热,但社会科学界基于大数据的实证研究仍然较少。一方面,大数据往往为政府、大型公司或网络媒体所持有,数据获取渠道和分析方法都与传统的社会科学定量定性分析存在很大差异;另一方面,现有的大数据并非为社会科学研究而设立,其在样本代表性、测量可靠性、因果推断等方面受到学界的诟病。不过,随着数字化图书、社交网站和搜索引擎数据的不断积累与公开,大数据在社会科学研究中的潜力已经开始彰显。
提高预测和决策的准确率
凯恩斯与哈耶克的市场与政府之争是20世纪经济学界最为重要的论战之一。这两位经济学家在理论和政策主张上的差异,深刻影响了20世纪各国经济政策制定和改革。比如,在20世纪早期,哈耶克的自由市场理念一度占据支配地位。二战后到20世纪70年代凯恩斯主义的政府干预政策更多地被采纳。在哈耶克批评计划经济的非可行性和低效率过程中,一个立足点就是“有限理性”:哈耶克从认识论角度提出计划制定者无法了解经济运行中每一个阶段的最终均衡状态。这种经济运行过程中信息的瞬息万变,会导致不可能建立全能式的生产、决策和分配等。
不过,大数据的出现有可能对“有限理性”的观点形成新的挑战。尽管目前大数据并不能实时提供市场运行中的全部信息,但大数据的方向和现代信息技术的指数式增长,有可能为哈耶克的论敌以及凯恩斯主义者提供新的反驳证据:当未来大数据对市场运行中的信息捕捉达到了空前的覆盖和密度,那么预测和决策就有了比哈耶克时代甚至当代高得多的准确率。
拓展社会科学经典理论的验证空间
大数据作为一种全新的资料,以其超越传统调查数据的样本量和时间跨度,为社会科学经典理论的验证和拓展提供了更多空间。因此,大数据在延伸和重新检视经典学说方面有着相当大的潜力。比如说,经典时期的社会学家以其深刻的洞察力为人们留下了丰富的理论遗产,不过由于理论的宏观性和复杂性,通过传统的截面数据、面板数据等抽样样本的分析,无法在经验层次上对这些理论进行检验。而大数据的出现为当今的社会科学界提供了前所未有的大跨度范围的社会数据、资料和信息,使得重新审视和延伸经典理论,尤其是宏观理论成为可能。
例如,社会分层是当代社会科学领域的重要概念。基于抽样调查数据的大量经验研究表明,主观社会地位受到客观社会地位以及相对参照群体的决定性影响。同时,跨国研究也表明,经济不平等对人们的自我阶层定位也有影响。新近利用大数据的研究则基于谷歌图书语料库811万本英语书籍、8000亿个单词的大数据,提取计算了一百年来美国书籍中阶级词汇的出现频率,以此来测量美国公众对阶层的关注程度。而对阶层关注度和美国社会百年失业率、通货膨胀、基尼系数等指标的格兰杰时间序列分析表明,在市场经济发达的美国,代表通货膨胀率和失业率之和的“经济悲惨指数”(Economic Misery)影响着阶层关注度,而基尼系数却没有统计显著的影响。这意味着,不平等对于阶层意识的作用很可能存在一种阀域效应:当社会不平等高于一定的阀值时,不平等才会对阶层意识产生作用;而当低于阀值时,是经济景气程度在影响着阶层关注度。
或缓解定量与定性之间的分歧
定量研究与定性研究是两种不同取向的研究策略,其背后蕴含着本体论、认识论和方法论上的差异。定量研究者和定性研究者常常相互指责对方的局限性,然而大数据的出现为他们提供的数据规模和全新的数据特征,在某种程度上可能会缓解分歧,甚至重构两者的关系。对定性研究者而言,大数据可以通过海量规模的样本直接展示和发现出社会现象的规律,既不需要控制变量来检验关联,更避免了定性方法在案例选择方面的样本偏差。此外,大数据可以为定性研究提供既全新又不会过于复杂的研究思维,让检索和数据描述等方法得到普遍应用。
对于定量研究者而言,目前的可用大数据往往并非专门为回归分析而设计,因此依据大数据很难进行传统意义上的回归分析和因果推断。但由于数据的海量甚至全样本的性质,一旦把基于大数据的简单关联分析或时间序列分析结果与文献中的传统回归分析进行比对,就能形成具有说服力的证据链。同时,大数据也把定量研究者的关注视野进一步开阔,从传统的定量分析领域向以往较少触及的文化现象、心理现象等领域拓展,并重新审视“描述”在定量分析中的地位。从某种意义上讲,大数据的使用使得定性和定量之间出现一个混合地带。可以预见,以描述和简单回归分析的大数据研究,将进一步融合定性定量方法的鸿沟。
为学科融合提供机遇
近代科学在理性化的指引下不断提升着专业化程度,以至于不同学科之间形成了鲜明的边界。尽管这种进程大大提高了研究效率和学术领域内的交流评估质量,但也逐渐形成了各自为政的不足。研究者在获得相当的深度的同时,往往失去了对广度的把握,并且学科边界之间形成了许多空白地带。而大数据则为学科融合提供了难得的机遇。这主要是因为,大数据的获取和分析,往往需要有别于传统社会科学训练的方法和工具。这使得原本在计算机、人工智能甚至物理、数学等领域具有专长的学者,在有意无意中不断参与到社会现象的分析队伍中来。实际上,自然科学家转型为社会科学家并非前所未有,如小世界网络研究者邓肯·瓦兹原先就是物理学家。随着大数据的出现,这样的转型案例可能会大大增多。近两年来,发表在英文刊物上的基于谷歌图书、维基百科等大数据的语言学、经济学研究论文,大多数都有计算机和自然科学家加入作者的行列。此外,由于大数据为社会科学提供了全新的分析对象,交叉学科的重要性也越来越被认识。“计算社会科学”、“应用计算科学”的方兴未艾就是典型的案例。
社会科学或出现“重返描述”潮流
当代社会科学尤其是定量分析致力于进行因果推断、提供机制性解释。由于社会人的异质性,基于非实验数据的定量分析很难避免内生性问题(遗漏变量、样本偏误、联立性等问题)。目前,社会科学研究者通过固定效应模型、倾向性匹配、工具变量等方法来加以解决以改进因果推断。从现存可用来进行社会科学分析的大数据看,它所能提供的变量有限,因此社会科学研究者很难通过大数据进行变量控制来进行传统的因果推断。然而,大数据的出现对于学术目标的进一步丰富和发展却无疑是深远的。首先,基于信息技术而兴起的大数据扩展了人类的经验范围,从而使得简单的统计描述就可以达到发现规律、展示规律的目的。这使得人们有可能凭借大数据而提出理论,而不仅仅是利用抽样数据对传统理论和假说进行证伪。其次,大数据的信息具有在时空上传统抽样数据所无法比拟的广度和深度。在大数据时代,社会科学尤其是定量社会科学可能在一定程度上将不再单纯以进行反事实因果推断、探求机制性解释为主要学科发展目标,而是出现一种“重返描述”的潮流。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19