京公网安备 11010802034615号
经营许可证编号:京B2-20210330
不关注人性的大数据,只是大忽悠_数据分析师培训
斯大林曾说:一个人的死是悲剧,一百万个人的死就是数据。如果拿医学界的术语,这是一种共情疲劳,如果换成时下最流行的术语,就是我们还无法处理大数据。
上周参加腾讯思享会,主题就是“大数据将如何影响社会变革”。场间针对大数据,提出了不同的声音,有“数据孤岛论”:现有的大数据是断裂而封闭的,比如腾讯说自己有某方面的全数据,但是否有百度,有阿里的?有“数据阴谋论”:现在在用大数据做事的就是大企业和政府机构,如果我们普通人不能掌握,那就是被一个无形的网所束缚、所监控。有从经济安全角度来看待大数据处理“黑箱”问题时的作用。也有从实践角度来谈论大数据在商界中的应用。但最触动我的是下面两个观点。这里简单摘编下以飧读者。
不关注人性的大数据是大忽悠---刘德寰
现在主流对大数据的理解是基于维克托的《大数据时代》进行二次改良。但这其中有两个十分值得商榷的观点,一是对抽样的极端蔑视,二是无原则的推崇相关。大数据是一种抛弃随机分析法(抽样调查)而对所有数据进行处理,那么这其中就存在一个由斯坦福Trevor Hastie提出的问题,如何在稻草里找一根针,前提是很多稻草长得和针一样。这是我们所有大数据研究面临的最大风险,数据太大之后带来的实际上是一个规律的丧失和失真,千万不要忽视了抽样。
抛开这两个观点,更为可怕的是现在的大数据鲜有关注人性。先举个生活中大家都遇到过的问题,一个人去网上买了5升的洗衣液,整个流程花费了不到1分钟。第二天浏览网页,他发现旁边的广告就是各种各样的洗衣液。这是什么?基于大数据的精准营销? 这恐怕是基于大忽悠的精准骚扰吧。 有点常识的人都知道,5升的洗衣液就算家里人再多也要用一个月,而且那个人流程这么短,肯定就是品牌忠诚者,推广的应该是什么时候那个品牌的洗衣液会打折之类的,这才是大数据。人类早期研究问题的方法就是靠体会、知觉、体验、内省等,这些看起来跟大数据无关的东西可能恰恰是大数据的核心,因为它是思想。
谷歌2008年弄了一个非常厉害的东西叫流感趋势预测,它预测的结果比美国疾病控制中心还准,当时轰动了全球。结果后来里面东西越来越乱,严重的高估了流感的状态。为什么?这就是刚刚说的维克多流派谈大数据的时候重相关不重因果。流感跟发病的时间点,跟美国比如中学生篮球赛那个时间点是完全一致的,这俩概念能有关系吗?问题是只要搜索中学生的篮球赛,就构成了流感预测的一个主要的词之一。类似的东西太多了,为什么?因为在谷歌预测的时候,没有找疾控公共卫生的专家,这些东西才是进行大数据预测的一个很重要的前提。
基因工程才是真正的大数据
人有多少细胞?量级为10的14次方。 其中一个细胞癌变就能导致你生命的完结。难道这不是大数据?真正的大数据是生命大数据,基因筛查可以消灭先天性疾病和预防癌症,人类想在千年之后复活亦不是难事。可是这样的基因科技发展却遭遇了无数现实瓶颈和伦理挑战。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-10-15一、什么是预测式发货 预测式发货(Anticipatory Shipping)是亚马逊于2013年12月获得授权的一项美国专利(专利号 US 8,615,473 ...
2026-10-14一、SQL在金融量化体系中的定位 量化投资的本质是用数据驱动决策,而数据处理贯穿量化研究的全生命周期。从原始行情数据清洗、因 ...
2026-10-14核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-10-14CDA数据分析师 出品 作者:李诗怡 四层结构 · 零件与房子 · 六大易错点 一、什么是指标体系 定义:指标体系是整套完整框架 ...
2026-10-13写在开头 先还原一个你大概率见过的场面。 立项会上有人说:我们得做用户画像。 于是团队关进会议室,白板写满便利贴,两小时后 ...
2026-10-13 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-10-13在统计学与数据分析研究中,相关性分析分为数值变量分析与分类变量分析两大类。针对身高、销量、分数等连续数值变量,通常采用皮 ...
2026-10-12在Power BI可视化分析体系中,常规表格仅能展示枯燥的数值数据,存在数据对比不直观、强弱规律不突出、维度交叉分析低效等问题。 ...
2026-10-12 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-10-12在传统零售行业同质化竞争激烈、大众营销转化率持续走低的背景下,依托经验与直觉的粗放式营销逐渐失效。美国塔吉特百货(Target ...
2026-10-10随着智能客服、数字化服务、用户精细化运营的快速普及,传统零散、非标准化的客户服务数据与业务体系逐渐难以支撑高效服务治理。 ...
2026-10-10 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-10-10CDA数据分析师 出品 作者:李诗怡 定义区别 · 场景举例 · 指标分类 · 计算方法 知识体系总览 模块 包含内容 一、核 ...
2026-10-09在数据分析工作流中,业务数据大多存储在各类关系型数据库内,例如MySQL、PostgreSQL、SQLite等。Pandas是Python生态中主流的数 ...
2026-10-09在数字化精细化运营时代,海量用户存在需求差异、行为差异、价值差异与偏好差异。如果企业采用“一刀切”的统一营销、统一服务、 ...
2026-10-09 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-10-09指标体系是企业数字化分析、业务监控、经营决策的核心基础框架,是将零散数据转化为可衡量、可对比、可落地业务价值的关键体系。 ...
2026-10-08随着市场竞争日趋饱和,同质化低价竞争逐渐陷入内卷僵局,传统以价格、渠道、促销为核心的营销模式边际效益持续递减。在此背景下 ...
2026-10-08 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-10-08