京公网安备 11010802034615号
经营许可证编号:京B2-20210330
对于大数据,这些认识上的bug你必须要知道
虽然大数据的发展(包括新型的非结构化数据和数据分析工具)正影响着各行各业,但关于大数据也有一些误解。
误解一:算法能解决一切问题请输入标题
我把这个误解称为神奇的算法。有关大数据的早期报道造成了一种假象:要想打造智能城市和企业,只要将功能最强大的电脑凑在一起,让它们去分析手头上的非结构化数据,找出规律,其中的商业洞见自然会浮现出来。但事实上,数据分析并不是这样完成的。
除了机器的运算,要使大数据发生效用还需要许多人力专家的参与,这是因为:数据的质量和准确性相当重要。数据是怎样收集的?误差率如何?样本是否有代表性?如果进行比对,不同的数据库中数据格式是否相同?因此,数据处理中的许多工作还需要人工操作,其中的尺度计算机很难拿捏。
受编程人员的主观影响,数据分析的算法也会出现各种偏差。比如,某个程序可以帮助企业筛选出最佳应聘者的简历,但是基于过去招聘经历的筛选结果并不一定能满足公司未来所需要的技能。
更重要的是,管理者需要提出关于数据的对的问题。公司现阶段最关心的结果是什么?数据呈现的哪些模式可以直接为公司所用?算法在寻找答案方面越来越游刃有余,但关键还要知道寻找什么问题的答案,这需要人来提出恰当的问题。凯撒娱乐的首席商务官塔里克·肖卡特曾这样说:“如果仅关注数据,那你可能将一无所获。我总是提醒我的团队去思考,你想要回答什么问题。”
误解二:相关分析至上
发现一种模式往往是不够的。许多评论家一再指出,有了大数据,数据科学再也不需要考虑因果关系,只关注相关关系即可。这种观点的潜在逻辑在于,通过大数据分析得到的规律近乎事实,无须再依赖人们所认知的因果判断。
显然这种观点是不可取的。管理者需要分清简单的相关分析和因果分析之间的差异,以及这种差异什么时候重要,什么时候不重要,这一点非常关键。简而言之,如果仅仅是为了做预测,看数据之间的相关关系便已足够;但如果你想改变前提条件,就必须考虑因果关系。
回到斯特林格的例子——就是发现降低城市树木修剪预算会引发诉讼数量增加的那个检察官。如果树木修剪预算不是引发诉讼数量变化的真正原因,那么提高树木修剪预算的方案就不会奏效。在这个例子里,搞清因果关系是很重要的。
还有一个例子,试想你的广告策划团队发现,俄亥俄州的已婚女性对你们的头发护理产品广告更感兴趣,但是你显然不能通过鼓励俄亥俄州的女性结婚来增加产品销量(这将影响前提条件)。相反,发现这一规律后,你可能会考虑将产品定位于俄亥俄州的已婚女性群体。在这种情形下,仅需要知道相关关系就可以了。
误解三:大数据是万金油
有时候人们将大数据与数据战略混为一谈。在很多情况下,企业完全可以建立宝贵的数据库,将之应用到战略中,而不一定非要使用大数据。
数据并不一定非要“大”(非结构化)才有用。从结构化的数据中(如顾客的点击行为——顾客一般会点击网页的什么位置、什么时候下拉屏幕、停留了多长时间、是否将商品放入购物车等)照样可以得到许多有价值的信息。即使在像脸书这样为许多世界大型服务器集群提供大数据的企业,其工程师每天处理的大多数问题也可以在一台运转良好的电脑上完成。数据战略的关键在于为企业提供价值,有时候需要大数据,有时候并不需要。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当下数据驱动决策的职场环境中,A/B测试早已成为互联网产品、运营、营销乃至产品迭代优化的核心手段,小到一个按钮的颜色、文 ...
2026-03-24在统计学数据分析中,尤其是分类数据的分析场景里,卡方检验和显著性检验是两个高频出现的概念,很多初学者甚至有一定统计基础的 ...
2026-03-24在CDA(Certified Data Analyst)数据分析师的日常业务分析与统计建模工作中,多组数据差异对比是高频且核心的分析场景。比如验 ...
2026-03-24日常用Excel做数据管理、台账维护、报表整理时,添加备注列是高频操作——用来标注异常、说明业务背景、记录处理进度、补充关键 ...
2026-03-23作为业内主流的自助式数据可视化工具,Tableau凭借拖拽式操作、强大的数据联动能力、灵活的仪表板搭建,成为数据分析师、业务人 ...
2026-03-23在CDA(Certified Data Analyst)数据分析师的日常工作与认证考核中,分类变量的关联分析是高频核心场景。用户性别是否影响商品 ...
2026-03-23在数据工作的全流程中,数据清洗是最基础、最耗时,同时也是最关键的核心环节,无论后续是做常规数据分析、可视化报表,还是开展 ...
2026-03-20在大数据与数据驱动决策的当下,“数据分析”与“数据挖掘”是高频出现的两个核心概念,也是很多职场人、入门学习者容易混淆的术 ...
2026-03-20在CDA(Certified Data Analyst)数据分析师的全流程工作闭环中,统计制图是连接严谨统计分析与高效业务沟通的关键纽带,更是CDA ...
2026-03-20在MySQL数据库优化中,分区表是处理海量数据的核心手段——通过将大表按分区键(如时间、地域、ID范围)分割为多个独立的小分区 ...
2026-03-19在商业智能与数据可视化领域,同比、环比增长率是分析数据变化趋势的核心指标——同比(YoY)聚焦“长期趋势”,通过当前周期与 ...
2026-03-19在数据分析与建模领域,流传着一句行业共识:“数据决定上限,特征决定下限”。对CDA(Certified Data Analyst)数据分析师而言 ...
2026-03-19机器学习算法工程的核心价值,在于将理论算法转化为可落地、可复用、高可靠的工程化解决方案,解决实际业务中的痛点问题。不同于 ...
2026-03-18在动态系统状态估计与目标跟踪领域,高精度、高鲁棒性的状态感知是机器人导航、自动驾驶、工业控制、目标检测等场景的核心需求。 ...
2026-03-18“垃圾数据进,垃圾结果出”,这是数据分析领域的黄金法则,更是CDA(Certified Data Analyst)数据分析师日常工作中时刻恪守的 ...
2026-03-18在机器学习建模中,决策树模型因其结构直观、易于理解、无需复杂数据预处理等优势,成为分类与回归任务的首选工具之一。而变量重 ...
2026-03-17在数据分析中,卡方检验是一类基于卡方分布的假设检验方法,核心用于分析分类变量之间的关联关系或实际观测分布与理论期望分布的 ...
2026-03-17在数字化转型的浪潮中,企业积累的数据日益庞大且分散——用户数据散落在注册系统、APP日志、客服记录中,订单数据分散在交易平 ...
2026-03-17在数字化时代,数据分析已成为企业决策、业务优化、增长突破的核心支撑,从数据仓库搭建(如维度表与事实表的设计)、数据采集清 ...
2026-03-16在数据仓库建设、数据分析(尤其是用户行为分析、业务指标分析)的实践中,维度表与事实表是两大核心组件,二者相互依存、缺一不 ...
2026-03-16