京公网安备 11010802034615号
经营许可证编号:京B2-20210330
所有的大数据都是有价值的吗
大数据不一定等同于好数据,且越来越多的专家也坚信这一点,大数据并不会自动产生好的分析结果。如果数据不完整、断章取义或者被破坏,可能会导致企业产生错误的决策,从而削弱企业的竞争力或影响用户个人日常生活。

美国哈佛大学教授、定量社会科学研究所主任——Gary King就曾因数据分析时断章取义,得出了错误的结果。他发起了一个大数据分析项目,即通过检测Twitter和其他社交媒体帖子中的“工作”、“失业”和“分类”等关键词,来预测美国的失业率。
通过使用情感分析的技术,该组织收集了包含这些关键字的tweet和其他社交媒体帖子,来查看这些帖子的增加或减少是否与每月失业率存在相关性。
在监测这些内容时,研究人员发现包含其中一个关键字(“工作”)的帖子数量急剧增加,但随后,他们发现这与失业率毫无关系,因为他们忽略了乔布斯(乔布斯的名字Jobs也有“工作”的意思)去世的消息。我们应从这个例子中吸取教训,不要完全依靠“神奇”的大数据来指导决策。
King表示,“jobs”的双重含义只是诸多类似事件之一,在这一领域工作的人都遇到过类似的经历。他说:“这些关键字列表在短期内可能可行,但从长远来看,往往会带来灾难性的失败。你可以通过添加额外的关键字来解决问题,但这需要大量的人力参与。”
你可以输入关键些到Bing Social页面,便会看到一些相关或者无关的东西。如果你不更改查询,随着时间的推移,你会发现含有这些关键词的话题正以某种方式逐渐偏离主题,有时候偏离比较小,有时候却很大。”
但King表示,总体而言,很多大数据分析都产生了有用的内容。Vantiv公司首席安全官兼高级副总裁Kim Jones表示,这不是一个新问题,但如果人们认为大量数据能够奇迹般地产生良好的分析结果,这个问题可能会变严重。他指出:“Jobs的例子是一个经典的案例,数据本身并不等同于智慧。”
King认为内容是关键。他是大数据分析公司Crimson Hexagon首席科学家兼联合创始人,用该公司市场营销执行副总裁Wayne St. Amand的话来说,该公司旨在为在线对话提供“内容、意义和结构”。
然而,越来越多没有内容的数据在推动决策过程。华尔街日报2月份曾报道,医疗保险公司使用大数据来为其用户创建个人资料文件。该公司追踪的信息之一是购买加大号衣服的历史记录,这可能会导致将转诊转为减肥的计划。
没有人会觉得鼓励人们更健康地生活是错误的事情,但是这方面涉及的隐私问题却令人不安。这个人购买加大号衣服可能是送给另一位家庭成员。而且这种隐私问题可能带来更严重的影响。《彭博商业周刊》在2008年曾报道过有人因购买处方药的历史记录,而被保险公司拒绝为其上医疗保险,而这个人买药的历史记录暴露这个人有轻微的心理健康问题。
Adam
Frank在博客中指出,在某些情况下,银行会因为用户在社交网站LinkedIn或者Facebook上的联系人的情况而拒绝用户的贷款。如果你的朋友赖账,你的信誉可能也会受到他们的信誉的影响。ACLU高级政策分析师Jay
Stanley指出,“信用卡公司有时会因为其他消费者的信贷历史记录而降低消费者的限额。”
Kim
Jones表示,从相关性得出结论,而不进行进一步分析,这给他本人也带来过麻烦。“在80年代后期和90年代初期,有数据显示,驾驶入门级豪华车,且年龄在20和27岁之间的西班牙裔和黑人男性最有可能是毒贩。而我正好符合这个标准,我是非裔美国人,年龄也在这个范围内,当时我开的正式这样的车,但我并不是毒贩。”
他表示,“我们不能只是依靠数据分析,那样可能会导致一些坏的结果。如果你忽略人类的分析因素,那么你的错误率将会非常高。”
简言之,大数据是一个工具,但不应该被视为解决方案。“它可以帮助你缩小范围,从数百万可能缩小到150左右,”Jones表示,“但是我们不能让计算机做一切判断,因为这最终可能会给你带来麻烦。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据处理的全流程中,数据呈现与数据分析是两个紧密关联却截然不同的核心环节。无论是科研数据整理、企业业务复盘,还是日常数 ...
2026-03-06在数据分析、数据预处理场景中,dat文件是一种常见的二进制或文本格式数据文件,广泛应用于科研数据、工程数据、传感器数据等领 ...
2026-03-06在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心价值,早已超越单纯的数据清洗与统计分析,而是通过数据 ...
2026-03-06在教学管理、培训数据统计、课程体系搭建等场景中,经常需要对课时数据进行排序并实现累加计算——比如,按课程章节排序,累加各 ...
2026-03-05在数据分析场景中,环比是衡量数据短期波动的核心指标——它通过对比“当前周期与上一个相邻周期”的数据,直观反映指标的月度、 ...
2026-03-05数据治理是数字化时代企业实现数据价值最大化的核心前提,而CDA(Certified Data Analyst)数据分析师作为数据全生命周期的核心 ...
2026-03-05在实验检测、质量控制、科研验证等场景中,“方法验证”是确保检测/分析结果可靠、可复用的核心环节——无论是新开发的检测方法 ...
2026-03-04在数据分析、科研实验、办公统计等场景中,我们常常需要对比两组数据的整体差异——比如两种营销策略的销售额差异、两种实验方案 ...
2026-03-04在数字化转型进入深水区的今天,企业对数据的依赖程度日益加深,而数据治理体系则是企业实现数据规范化、高质量化、价值化的核心 ...
2026-03-04在深度学习,尤其是卷积神经网络(CNN)的实操中,转置卷积(Transposed Convolution)是一个高频应用的操作——它核心用于实现 ...
2026-03-03在日常办公、数据分析、金融理财、科研统计等场景中,我们经常需要计算“平均值”来概括一组数据的整体水平——比如计算月度平均 ...
2026-03-03在数字化转型的浪潮中,数据已成为企业最核心的战略资产,而数据治理则是激活这份资产价值的前提——没有规范、高质量的数据治理 ...
2026-03-03在Excel办公中,数据透视表是汇总、分析繁杂数据的核心工具,我们常常通过它快速得到销售额汇总、人员统计、业绩分析等关键结果 ...
2026-03-02在日常办公和数据分析中,我们常常需要探究两个或多个数据之间的关联关系——比如销售额与广告投入是否正相关、员工出勤率与绩效 ...
2026-03-02在数字化运营中,时间序列数据是CDA(Certified Data Analyst)数据分析师最常接触的数据类型之一——每日的营收、每小时的用户 ...
2026-03-02在日常办公中,数据透视表是Excel、WPS等表格工具中最常用的数据分析利器——它能快速汇总繁杂数据、挖掘数据关联、生成直观报表 ...
2026-02-28有限元法(Finite Element Method, FEM)作为工程数值模拟的核心工具,已广泛应用于机械制造、航空航天、土木工程、生物医学等多 ...
2026-02-28在数字化时代,“以用户为中心”已成为企业运营的核心逻辑,而用户画像则是企业读懂用户、精准服务用户的关键载体。CDA(Certifi ...
2026-02-28在Python面向对象编程(OOP)中,类方法是构建模块化、可复用代码的核心载体,也是实现封装、继承、多态特性的关键工具。无论是 ...
2026-02-27在MySQL数据库优化中,索引是提升查询效率的核心手段—— 面对千万级、亿级数据量,合理创建索引能将查询时间从秒级压缩到毫秒级 ...
2026-02-27