京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代的语言研究不能忽视的因果
大数据是近年兴起的概念,大体上是指通过一系列精炼、提取、分析,从庞杂、无序、多维的信息中获取情报的一种方法。大数据研究让我们有能力驾驭海量信息,使得以往变化莫测、捉摸不透的自然、社会现象,变得模式凸显,有章可循。这不仅让许多科学猜想获得实证检验的机会,也极大地加速了新理论、新假说的产生。
语言学领域的大数据研究最吸引人的领域是自然语言处理。通过数学统计和机器算法,可以让机器学习人类的语言使用,从大量语言信息中搜寻有规律、重复出现的模式,并不断让机器识别、记录和改进这些模式,以实际应用于人工智能的诸多领域。此项突破在人类语言应用方面前所未有。语言大数据研究另一个重要领域是理性主义研究。这类研究通常带有一定的理论预设,通过大规模语料的分析和计算,找出字、词、句在历时和共时上的分布规律,从而为社会语言变迁、语音语法演变、语言共性规律、语言类型学划分等研究提供一定的实证支持,是一种较为科学的描写性分析。
在当前大数据风起云涌的时代,秉持此研究理念的学者坚信这种研究方法开启了一次重大的时代变革,甚至提出“要相关,不要因果”的口号。那么,语言研究者是否应该倾力研究诸多“变量”之间的相关性,而无须考虑事物之间的因果关系呢?既然我们有了精深的统计知识和机器算法,可以在机器翻译、语音识别、语言共性规律等方面取得以往不可能实现的成就,那么我们还需要各种探索因果关系的理论吗?换言之,如果机器可以按自己的“思维”方式实现人类语言的交际功能和研究人类语言的功能,我们何必花时间探索语言背后的哲学基础?何必思考语言现象内在的因果关系?
答案显然是否定的。笔者认为,人类对因果关系的渴求受到与生俱来的好奇心驱动,是人类独特的理性力量。不管是“小”数据年代,还是大数据时代,人类都乐于对事物之间的关联作出判断,理性地探索那些最本质的因果关系。大数据固然有助于人们在这方面的探索,但人们不可能靠它一劳永逸地解决所有问题。这是由大数据本身的性质所决定的。
大数据 “大”的原因有两方面:一方面是在同样的参数、变量的情况下,尽可能增加观察、记录的次数,从而扩大数据规模;二是在同一次观察、记录中,尽可能地增加参数、变量的数目,也同样能扩大数据规模。在现实研究中,这两个因素经常同时相互起作用。然而,数据规模虽可无限扩大,但仍非决定人们因果推断能力的根本因素。问题不妨这样看:随着观察次数增加,基于某个统计模型的估计值,其精确度就有可能不断提高。然而,问题在于是否观察次数越多,这个模型就可以自动消除因为某个变量缺失而带来的计算偏差。举个简单的例子:假设在一座城市有甲、乙两家医院,通过数十年不间断的数据收集,我们发现在去过两家医院的患者中,甲医院死亡率非常高,而乙医院死亡率很低,那么,我们是否就可以得出甲医院差,而乙医院好呢?答案是否定的!因为我们忽略了一个重要的外生变量,即甲医院级别更高,收治了更多病情严重的病人;而乙医院级别较低,只能治疗一些小病。这就是统计学上所谓的“遗漏变量偏差”。可见,即使我们积累了数十年多次观察的数据,仍可能未触及最根本因果问题。因此,解决问题不在于大数据的“大”,而更在于是否在数据采集和统计模型选择时有较高层次的理论指导。
另一方面,如果说增加观察次数并不会实质提高发现因果关系的可能性,那么是否可以在同一次观察、记录中,尽可能增加相关参数、变量的数目、种类,来改变这种状况?此想法看似合理,但仍不完全可行。虽然通过各种复杂精妙统计学方法,可以把复杂的数据降维,得出有价值的线性回归模型;姑且不论随着变量增加,是否对统计模型产生影响,最核心的问题还在于这样的研究存在一个前提假设,即观察、记录的变量必然包含了能够引发因果关系的所有变量,但事实往往并非如此。举例来说,2015年,美国迈阿密大学的凯莱布·埃弗里特(C. Everett)及其同事考察了3700多种语言,其中629种语言有复杂的声调,通过独立样本检验,他们发现声调类型复杂的语言更多出现在气候湿润的地区,而声调单一或无声调的语言更可能出现在气候干燥地区。埃弗里特提供的解释是干燥的空气容易使得发音器官脱水,降低声带弹性;在气候干冷的环境下,发出复杂声调比在温润的环境下要困难得多。这种因果推断似是而非,但颇受欢迎。
仅一年后,荷兰内梅亨大学的杰里米·柯林斯(Jeremy Collins)就针对这篇文章的结论提出严重质疑。他认为,由于人类语言大多聚集在气候湿润地区,埃弗里特及其团队所谓的“随机样本”很可能是取自同一个气候湿润的地区。这些地区聚集着为数众多的语言,它们之间还可能具有亲缘关系,而就是这个“亲缘关系”的变量被埃弗里特及其团队忽略。事实上,荷兰的柯林斯通过另外一种数据收集方法(在同一个语系随机选取一个语言,然后在该语系谱系树中再随机选取其他语言),得出语言接触是重要的干扰因素,可以在全球范围内产生声调与气候湿润积极关联。柯林斯认为,语言接触、语言的地理分布,甚至地理地貌特征均是干扰声调和气候相关性的因素。虽然美国埃弗里特研究了近半数的人类语言,但由于没有考虑这些因素,因此他们的结论并不可靠。汉语是有调类语言,也引起了国际语言学家的广泛关注。桥本龙太郎(Hashimoto Riotaro)很早就指出,汉语越往南的方言,调类越多,而越往北的,调类越少。北方汉语之所以调类少,是受了阿尔泰语的影响。那些侵入中原地区的族群,受汉族影响,改用汉语,但他们讲的汉语仅保留了有限声调类型。当前汉语与阿尔泰语接触的最前沿是兰银官话,只有两三种声调,而与粤语相邻的方言则声调类型丰富。可见,如果缺乏对社会、文化、历史以及类型学理论知识的把握,大规模数据的研究并不总会产生有价值的科学发现,甚至会得出误导性的“虚假相关”。这足以引起警惕。
我们认为,大数据的“大”并不足以改变人们因果推理的能力。本质上,我们仍然需要一个坚实、强大的理论来指导我们收集数据和设定模型。人类不会也不可能一劳永逸地仅依靠机器实现从提出假说到实践检验的全过程。一些学者提出“只要相关,不要因果”的口号其实是针对大数据研究中找出可复现模式的能力而言的。但是,语言学研究和其他科学研究一样,并不是仅找寻相关性和可复现模式的活动。语言研究者需要保持好奇心和批评性思维,特别是追求根本性因果关系的决心。只有这样,才是大数据时代语言学研究发展的正确方向。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27