京公网安备 11010802034615号
经营许可证编号:京B2-20210330
8月14日,腾讯网在正院会馆举办了一场夏季思享会,而这次思享会的主题就是“大数据”。有意思的是,这次关于大数据的分享会请到了来自各个领域的学者和专家,是一场跨学科的思想碰撞。在现场的我听完了整场分享,有趣的观点不少,还有一些观点是目前国内关注大数据的人们不太提及的,非常思辨。在这里,我也跟大家分享一些来自思享会上的有趣观点。
海量数据的应用正在改变我们现有的生产方式,其不仅成为了一个重要的生产要素,还在一定程度上提高了生产效率。这时,海量数据应用带来的信息风暴不仅影响到我们的工作、生活,还可以逐渐影响我们的思维方式。有人说大数据本身是一场革命,这场革命就是把“量化”这个概念推动到我们生活中的方方面面。
1、关于大数据带来的机遇可以说是学界业界一致认同的,而北大新闻与传播学院的刘德寰教授却提出,大数据也可以是“大忽悠”,甚至存在大风险。
大数据就一定是全数据吗?
即使是像BAT这样的互联网巨头,他们所拥有的数据也只是一座”数据孤岛“。因此,很多大数据其实是断裂且封闭的。在这一座座孤岛被打破之前,大数据都无法称”全“。这种大而不全的数据导致我们无法真正获得想要的规律。
大数据也许会带来“假规律”和“伪相关”
虽然关于大数据的介绍和分析都告诉我们,大数据注重的是“相关关系”,而非“因果关系”,但是,如果只注重相关关系,数据量的增加将不可避免的带来伪相关的现象。当数据量达到几十万之巨之后,只会导向“万物相联系”这一结论。这时,所选取的变量都会呈现为统计显著,而这样的数据分析无疑就失败了。因此,即使大数据现在备受推崇,但传统的抽样调查和实验等社会学研究方法也不应该被抛弃,而应该结合使用。
《大数据时代》的译者周涛也回应了这个观点:从技术层面上来看,我们的确需要找到因果关系。一方面,有的关联如果没有因果在背后是很难被发现的;另一方面,因果能够帮助我们更好的解释和分析相关。
大数据离不开对“人性”的理解
大数据的挖掘过程也需要注入思想,这种思想就体现为“人性”。统计数据不能代替对人性的理解,真正进行跟人相关的大数据挖掘的时候一定要关注人性,这个时候的算法和建模才是有针对性、有意义的。怎样在数据中注入人性?观察、实验、调查等传统的研究方法都是很好的选择。比如,乔布斯就经常躲在苹果体验店外没人看得见的地方观察体验店里的人的行为,这是最早期的研究方法,在拥有大数据的今天还在使用是有一定原因的。一句话:诸如“体会、体验、直觉、灵机一动、内省”这些看似与大数据无关的东西有可能恰恰就是大数据的核心。
大数据+小应用的趋势
所谓大数据的小应用,就是把大数据应用到各个独立领域中去。大数据运算本身构造了一个拥有更多能力的“新算盘”,拥有这个新算盘不意味着拥有一切,而是有了一个可以在各个领域使用的科学的工具。怎样做好大数据的小应用?有两个方面:第一,大数据与小数据结合,这个小数据就是基于抽样调查的数据;第二,来自各个独立领域的专业知识非常重要,比如以心理学、法学、社会学、营销学等混合知识作为背景,再去跟数据结合,就能够探索出一个更科学的大数据分析和挖掘的方式。
2、关于大数据的产业应用,华大基因的董事长汪建表达了自己的看法:基因研究是一项很少被人了解的产业研究,但却是真正的大数据应用。
怎样有效的预测疾病、怎样降低传染病的发病率,这些都需要依靠于基因研究。人身体中的细胞数量有10的14次方个,而一个细胞的癌变就可能导致生命的终结。这一个癌细胞分解为RNA后就是10的9次方,变成蛋白质则是10的19次方,这么大的数据量足以构成大数据,而基因研究面对的就是如此量级的数据研究和应用。
以对肿瘤细胞的定性、定量研究为例。首先,要知道肿瘤细胞现在的基因是怎样的,而当出现一两个基因变化的时候,细胞又会变成什么样。其次,当众多肿瘤细胞的基因变化构成了相当量级的数据之后,我们就能通过数据来展现细胞癌变的动态变化过程,从而进一步预测疾病。这样的研究如果用在先天性疾病的防治上将更有意义,这样有出生缺陷的婴儿会越来越少。华大在推进的”百万人基因计划“,就是一个名符其实的大数据应用。因此,汪建从基因研究出发,表达了自己对大数据的理解:从大目标出发,践行大数据,实现大科学,从而将研究成功运用到各个领域中去,形成大产业。
3、关于“新技术给我们的生活带来了什么”这个话题,北大哲学系教授吴国盛给出了一个让我很认同的观点:技术本身并不是价值中立的,它有着自身的逻辑和属性,而这就使得我们在使用新技术时,也必须接受新技术的内在逻辑,而这就将改变我们原有的生活方式。
过去,我们认为技术是中性的,它是人类的使用工具,怎么使用它取决于人类自己,但事实并非如此。技术有着自己的自主性、自己的结构,某些技术必定指向某些事情。比如,互联网是一种基于民主意识形态的技术配置,网民相对平等的分配信息,共同分享信息,所以这样的技术发源于美国,而不是中国。而当互联网进入中国之后,人们除了享受互联网带来的便捷高效,还要被迫接受互联网世界中民主、平等、开放的意识形态,这是根植于互联网技术中的。因此,虽然国内建起了互联网高墙,但翻墙一事也是轻而易举,这就是互联网的内在逻辑决定的。
4、关于大数据与社会变革这个不太被提及的话题,来自不同领域的专家们都从各自的领域出发分享了自己的感受。
《大数据时代》的译者周涛认为,大数据更高级的阶段应该是数据的集成与共享,并把集成和共享本身作为一种商业模式。
他举了一个通过大数据帮助全球能源更好的进行配置的例子。首先,周涛所在的电子科大与电力集团达成合作,通过大量遥感装置和本地勘探数据了解到各个国家的能源供需情况。其次,通过与气象局合作获得气象数据,包括日照、风速风向、降雨等,从而对太阳能、风能、水能等新能源做到短期预测,并实现能源负载平衡。而这些数据若再与电力集团的数据进行集成和分享,就能将各项能源更有效的调配使用。
专栏作家安替则谈到一个问题:大数据是有阶级性的,大数据时代也许是一个新的政治革命诞生的时代。
之前,社科院农发所社会问题研究中心主任于建嵘说过大数据让每个人变得更加透明,我们生活中的各种行为将通过数据被采集,并且分析出来,因此普通老百姓可以说是没有秘密的。然而,这些数据却不是普通老百姓可以看到或使用的,真正拥有这些数据的是部分企业、机构和政府,普通用户只是大数据的提供者,这就是阶级的产生。
因此,在大数据时代,数据的拥有权是一个关键的问题。这跟资本在资本主义刚诞生时最原始的情况是相似的。如果我们说物质的匮乏造成资本的流动,资本主义的产生是一些企业崛起,并跟国家分享权力的话,我们也可以说大数据时代恰会湿一个新政治革命诞生的时代。如果拥有大数据的人们不让民众分享大数据的成果,反而用大数据来控制民众(比如维稳),那也许会造成更大的国内冲突,甚至国际斗争。
社会学教授郭于华关心的是社会当中的普通人怎样面对和使用新技术,那么新技术是不是会缩小信息鸿沟和社会鸿沟?
她曾经做过一个研究:新生代农民工怎样使用信息技术。她对研究结论的预判是:新技术将有助于新生代农民工的社会融入、城市融入。事实上,新技术确实给他们的生活带来了改变:其一,农民工是一个公共生活缺失的人群,信息技术给他们相互之间的交流带来了很多便利;其二,新媒体给了他们表达的渠道,这是以往所不曾有的;其三,他们可以通过新媒体即时调用各种所需要的信息,更加了解这个世界。
但即便如此,我们也不能过分夸大信息技术对弱势群体的作用,因为它确实呈现出比较强的马太效应:强势着可以更好的、更有利的利用这些新技术,同时他们也会对其他人加以控制。所以,新技术有没有可能穿透社会结构的屏障才是关键的问题。
其实,像郭于华教授这样的调研,也是创业者们需要的。比如“豌豆荚”就曾经派人去东莞的工厂里做调研,了解打工族们对智能终端和移动应用的真正需求。感兴趣的人可以点此阅读调查结果。
关于大数据和新技术,其实除去技术层面的研究和应用,在与历史、 社会、人文等学科交叉的过程中还将引发很多话题,希望以上这些观点能给大家带去一点不一样的思考。(本文由:CDA数据分析师)
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Python开发中,HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中,“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定,工厂管理者关注产品尺寸偏差是否可控,基金 ...
2025-12-12在CDA(Certified Data Analyst)数据分析师的能力矩阵中,数据查询语言(SQL)是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12很多小伙伴都在问CDA考试的问题,以下是结合 2025 年最新政策与行业动态更新的 CDA 数据分析师认证考试 Q&A,覆盖考试内容、报考 ...
2025-12-11在Excel数据可视化中,柱形图因直观展示数据差异的优势被广泛使用,而背景色设置绝非简单的“换颜色”——合理的背景色能突出核 ...
2025-12-11在科研实验、商业分析或医学研究中,我们常需要判断“两组数据的差异是真实存在,还是偶然波动”——比如“新降压药的效果是否优 ...
2025-12-11在CDA(Certified Data Analyst)数据分析师的工作体系中,数据库就像“数据仓库的核心骨架”——所有业务数据的存储、组织与提 ...
2025-12-11在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01