京公网安备 11010802034615号
经营许可证编号:京B2-20210330
不关注人性的大数据,只是大忽悠_数据分析师培训
斯大林曾说:一个人的死是悲剧,一百万个人的死就是数据。如果拿医学界的术语,这是一种共情疲劳,如果换成时下最流行的术语,就是我们还无法处理大数据。
上周参加腾讯思享会,主题就是“大数据将如何影响社会变革”。场间针对大数据,提出了不同的声音,有“数据孤岛论”:现有的大数据是断裂而封闭的,比如腾讯说自己有某方面的全数据,但是否有百度,有阿里的?有“数据阴谋论”:现在在用大数据做事的就是大企业和政府机构,如果我们普通人不能掌握,那就是被一个无形的网所束缚、所监控。有从经济安全角度来看待大数据处理“黑箱”问题时的作用。也有从实践角度来谈论大数据在商界中的应用。但最触动我的是下面两个观点。这里简单摘编下以飧读者。
不关注人性的大数据是大忽悠---刘德寰
现在主流对大数据的理解是基于维克托的《大数据时代》进行二次改良。但这其中有两个十分值得商榷的观点,一是对抽样的极端蔑视,二是无原则的推崇相关。大数据是一种抛弃随机分析法(抽样调查)而对所有数据进行处理,那么这其中就存在一个由斯坦福Trevor Hastie提出的问题,如何在稻草里找一根针,前提是很多稻草长得和针一样。这是我们所有大数据研究面临的最大风险,数据太大之后带来的实际上是一个规律的丧失和失真,千万不要忽视了抽样。
抛开这两个观点,更为可怕的是现在的大数据鲜有关注人性。先举个生活中大家都遇到过的问题,一个人去网上买了5升的洗衣液,整个流程花费了不到1分钟。第二天浏览网页,他发现旁边的广告就是各种各样的洗衣液。这是什么?基于大数据的精准营销? 这恐怕是基于大忽悠的精准骚扰吧。 有点常识的人都知道,5升的洗衣液就算家里人再多也要用一个月,而且那个人流程这么短,肯定就是品牌忠诚者,推广的应该是什么时候那个品牌的洗衣液会打折之类的,这才是大数据。人类早期研究问题的方法就是靠体会、知觉、体验、内省等,这些看起来跟大数据无关的东西可能恰恰是大数据的核心,因为它是思想。
谷歌2008年弄了一个非常厉害的东西叫流感趋势预测,它预测的结果比美国疾病控制中心还准,当时轰动了全球。结果后来里面东西越来越乱,严重的高估了流感的状态。为什么?这就是刚刚说的维克多流派谈大数据的时候重相关不重因果。流感跟发病的时间点,跟美国比如中学生篮球赛那个时间点是完全一致的,这俩概念能有关系吗?问题是只要搜索中学生的篮球赛,就构成了流感预测的一个主要的词之一。类似的东西太多了,为什么?因为在谷歌预测的时候,没有找疾控公共卫生的专家,这些东西才是进行大数据预测的一个很重要的前提。
基因工程才是真正的大数据
人有多少细胞?量级为10的14次方。 其中一个细胞癌变就能导致你生命的完结。难道这不是大数据?真正的大数据是生命大数据,基因筛查可以消灭先天性疾病和预防癌症,人类想在千年之后复活亦不是难事。可是这样的基因科技发展却遭遇了无数现实瓶颈和伦理挑战。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在主成分分析(PCA)、因子分析等降维方法中,“成分得分系数矩阵” 与 “载荷矩阵” 是两个高频出现但极易混淆的核心矩阵 —— ...
2025-11-12大数据早已不是单纯的技术概念,而是渗透各行业的核心生产力。但同样是拥抱大数据,零售企业的推荐系统、制造企业的设备维护、金 ...
2025-11-12在数据驱动的时代,“数据分析” 已成为企业决策的核心支撑,但很多人对其认知仍停留在 “用 Excel 做报表”“写 SQL 查数据” ...
2025-11-12金融统计不是单纯的 “数据计算”,而是贯穿金融业务全流程的 “风险量化工具”—— 从信贷审批中的客户风险评估,到投资组合的 ...
2025-11-11这个问题很有实战价值,mtcars 数据集是多元线性回归的经典案例,通过它能清晰展现 “多变量影响分析” 的核心逻辑。核心结论是 ...
2025-11-11在数据驱动成为企业核心竞争力的今天,“不知道要什么数据”“分析结果用不上” 是企业的普遍困境 —— 业务部门说 “要提升销量 ...
2025-11-11在大模型(如 Transformer、CNN、多层感知机)的结构设计中,“每层神经元个数” 是决定模型性能与效率的关键参数 —— 个数过少 ...
2025-11-10形成购买决策的四个核心推动力的是:内在需求驱动、产品价值感知、社会环境影响、场景便捷性—— 它们从 “为什么买”“值得买吗 ...
2025-11-10在数字经济时代,“数字化转型” 已从企业的 “可选动作” 变为 “生存必需”。然而,多数企业的转型仍停留在 “上线系统、收集 ...
2025-11-10在数据分析与建模中,“显性特征”(如用户年龄、订单金额、商品类别)是直接可获取的基础数据,但真正驱动业务突破的往往是 “ ...
2025-11-07在大模型(LLM)商业化落地过程中,“结果稳定性” 是比 “单次输出质量” 更关键的指标 —— 对客服对话而言,相同问题需给出一 ...
2025-11-07在数据驱动与合规监管双重压力下,企业数据安全已从 “技术防护” 升级为 “战略刚需”—— 既要应对《个人信息保护法》《数据安 ...
2025-11-07在机器学习领域,“分类模型” 是解决 “类别预测” 问题的核心工具 —— 从 “垃圾邮件识别(是 / 否)” 到 “疾病诊断(良性 ...
2025-11-06在数据分析中,面对 “性别与购物偏好”“年龄段与消费频次”“职业与 APP 使用习惯” 这类成对的分类变量,我们常常需要回答: ...
2025-11-06在 CDA(Certified Data Analyst)数据分析师的工作中,“可解释性建模” 与 “业务规则提取” 是核心需求 —— 例如 “预测用户 ...
2025-11-06在分类变量关联分析中(如 “吸烟与肺癌的关系”“性别与疾病发病率的关联”),卡方检验 P 值与 OR 值(比值比,Odds Ratio)是 ...
2025-11-05CDA 数据分析师的核心价值,不在于复杂的模型公式,而在于将数据转化为可落地的商业行动。脱离业务场景的分析只是 “纸上谈兵” ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-04【2025最新版】CDA考试教材:CDA教材一级:商业数据分析(2025)__商业数据分析_cda教材_考试教材 (cdaglobal.com) ...
2025-11-04