
8月14日,腾讯网在正院会馆举办了一场夏季思享会,而这次思享会的主题就是“大数据”。有意思的是,这次关于大数据的分享会请到了来自各个领域的学者和专家,是一场跨学科的思想碰撞。在现场的我听完了整场分享,有趣的观点不少,还有一些观点是目前国内关注大数据的人们不太提及的,非常思辨。在这里,我也跟大家分享一些来自思享会上的有趣观点。
海量数据的应用正在改变我们现有的生产方式,其不仅成为了一个重要的生产要素,还在一定程度上提高了生产效率。这时,海量数据应用带来的信息风暴不仅影响到我们的工作、生活,还可以逐渐影响我们的思维方式。有人说大数据本身是一场革命,这场革命就是把“量化”这个概念推动到我们生活中的方方面面。
1、关于大数据带来的机遇可以说是学界业界一致认同的,而北大新闻与传播学院的刘德寰教授却提出,大数据也可以是“大忽悠”,甚至存在大风险。
大数据就一定是全数据吗?
即使是像BAT这样的互联网巨头,他们所拥有的数据也只是一座”数据孤岛“。因此,很多大数据其实是断裂且封闭的。在这一座座孤岛被打破之前,大数据都无法称”全“。这种大而不全的数据导致我们无法真正获得想要的规律。
大数据也许会带来“假规律”和“伪相关”
虽然关于大数据的介绍和分析都告诉我们,大数据注重的是“相关关系”,而非“因果关系”,但是,如果只注重相关关系,数据量的增加将不可避免的带来伪相关的现象。当数据量达到几十万之巨之后,只会导向“万物相联系”这一结论。这时,所选取的变量都会呈现为统计显著,而这样的数据分析无疑就失败了。因此,即使大数据现在备受推崇,但传统的抽样调查和实验等社会学研究方法也不应该被抛弃,而应该结合使用。
《大数据时代》的译者周涛也回应了这个观点:从技术层面上来看,我们的确需要找到因果关系。一方面,有的关联如果没有因果在背后是很难被发现的;另一方面,因果能够帮助我们更好的解释和分析相关。
大数据离不开对“人性”的理解
大数据的挖掘过程也需要注入思想,这种思想就体现为“人性”。统计数据不能代替对人性的理解,真正进行跟人相关的大数据挖掘的时候一定要关注人性,这个时候的算法和建模才是有针对性、有意义的。怎样在数据中注入人性?观察、实验、调查等传统的研究方法都是很好的选择。比如,乔布斯就经常躲在苹果体验店外没人看得见的地方观察体验店里的人的行为,这是最早期的研究方法,在拥有大数据的今天还在使用是有一定原因的。一句话:诸如“体会、体验、直觉、灵机一动、内省”这些看似与大数据无关的东西有可能恰恰就是大数据的核心。
大数据+小应用的趋势
所谓大数据的小应用,就是把大数据应用到各个独立领域中去。大数据运算本身构造了一个拥有更多能力的“新算盘”,拥有这个新算盘不意味着拥有一切,而是有了一个可以在各个领域使用的科学的工具。怎样做好大数据的小应用?有两个方面:第一,大数据与小数据结合,这个小数据就是基于抽样调查的数据;第二,来自各个独立领域的专业知识非常重要,比如以心理学、法学、社会学、营销学等混合知识作为背景,再去跟数据结合,就能够探索出一个更科学的大数据分析和挖掘的方式。
2、关于大数据的产业应用,华大基因的董事长汪建表达了自己的看法:基因研究是一项很少被人了解的产业研究,但却是真正的大数据应用。
怎样有效的预测疾病、怎样降低传染病的发病率,这些都需要依靠于基因研究。人身体中的细胞数量有10的14次方个,而一个细胞的癌变就可能导致生命的终结。这一个癌细胞分解为RNA后就是10的9次方,变成蛋白质则是10的19次方,这么大的数据量足以构成大数据,而基因研究面对的就是如此量级的数据研究和应用。
以对肿瘤细胞的定性、定量研究为例。首先,要知道肿瘤细胞现在的基因是怎样的,而当出现一两个基因变化的时候,细胞又会变成什么样。其次,当众多肿瘤细胞的基因变化构成了相当量级的数据之后,我们就能通过数据来展现细胞癌变的动态变化过程,从而进一步预测疾病。这样的研究如果用在先天性疾病的防治上将更有意义,这样有出生缺陷的婴儿会越来越少。华大在推进的”百万人基因计划“,就是一个名符其实的大数据应用。因此,汪建从基因研究出发,表达了自己对大数据的理解:从大目标出发,践行大数据,实现大科学,从而将研究成功运用到各个领域中去,形成大产业。
3、关于“新技术给我们的生活带来了什么”这个话题,北大哲学系教授吴国盛给出了一个让我很认同的观点:技术本身并不是价值中立的,它有着自身的逻辑和属性,而这就使得我们在使用新技术时,也必须接受新技术的内在逻辑,而这就将改变我们原有的生活方式。
过去,我们认为技术是中性的,它是人类的使用工具,怎么使用它取决于人类自己,但事实并非如此。技术有着自己的自主性、自己的结构,某些技术必定指向某些事情。比如,互联网是一种基于民主意识形态的技术配置,网民相对平等的分配信息,共同分享信息,所以这样的技术发源于美国,而不是中国。而当互联网进入中国之后,人们除了享受互联网带来的便捷高效,还要被迫接受互联网世界中民主、平等、开放的意识形态,这是根植于互联网技术中的。因此,虽然国内建起了互联网高墙,但翻墙一事也是轻而易举,这就是互联网的内在逻辑决定的。
4、关于大数据与社会变革这个不太被提及的话题,来自不同领域的专家们都从各自的领域出发分享了自己的感受。
《大数据时代》的译者周涛认为,大数据更高级的阶段应该是数据的集成与共享,并把集成和共享本身作为一种商业模式。
他举了一个通过大数据帮助全球能源更好的进行配置的例子。首先,周涛所在的电子科大与电力集团达成合作,通过大量遥感装置和本地勘探数据了解到各个国家的能源供需情况。其次,通过与气象局合作获得气象数据,包括日照、风速风向、降雨等,从而对太阳能、风能、水能等新能源做到短期预测,并实现能源负载平衡。而这些数据若再与电力集团的数据进行集成和分享,就能将各项能源更有效的调配使用。
专栏作家安替则谈到一个问题:大数据是有阶级性的,大数据时代也许是一个新的政治革命诞生的时代。
之前,社科院农发所社会问题研究中心主任于建嵘说过大数据让每个人变得更加透明,我们生活中的各种行为将通过数据被采集,并且分析出来,因此普通老百姓可以说是没有秘密的。然而,这些数据却不是普通老百姓可以看到或使用的,真正拥有这些数据的是部分企业、机构和政府,普通用户只是大数据的提供者,这就是阶级的产生。
因此,在大数据时代,数据的拥有权是一个关键的问题。这跟资本在资本主义刚诞生时最原始的情况是相似的。如果我们说物质的匮乏造成资本的流动,资本主义的产生是一些企业崛起,并跟国家分享权力的话,我们也可以说大数据时代恰会湿一个新政治革命诞生的时代。如果拥有大数据的人们不让民众分享大数据的成果,反而用大数据来控制民众(比如维稳),那也许会造成更大的国内冲突,甚至国际斗争。
社会学教授郭于华关心的是社会当中的普通人怎样面对和使用新技术,那么新技术是不是会缩小信息鸿沟和社会鸿沟?
她曾经做过一个研究:新生代农民工怎样使用信息技术。她对研究结论的预判是:新技术将有助于新生代农民工的社会融入、城市融入。事实上,新技术确实给他们的生活带来了改变:其一,农民工是一个公共生活缺失的人群,信息技术给他们相互之间的交流带来了很多便利;其二,新媒体给了他们表达的渠道,这是以往所不曾有的;其三,他们可以通过新媒体即时调用各种所需要的信息,更加了解这个世界。
但即便如此,我们也不能过分夸大信息技术对弱势群体的作用,因为它确实呈现出比较强的马太效应:强势着可以更好的、更有利的利用这些新技术,同时他们也会对其他人加以控制。所以,新技术有没有可能穿透社会结构的屏障才是关键的问题。
其实,像郭于华教授这样的调研,也是创业者们需要的。比如“豌豆荚”就曾经派人去东莞的工厂里做调研,了解打工族们对智能终端和移动应用的真正需求。感兴趣的人可以点此阅读调查结果。
关于大数据和新技术,其实除去技术层面的研究和应用,在与历史、 社会、人文等学科交叉的过程中还将引发很多话题,希望以上这些观点能给大家带去一点不一样的思考。(本文由:CDA数据分析师)
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01