京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代是相信数据科学还是领导的感觉
即使企业有开发大数据的能力(其实大部分并没有这个能力),他们还总是喜欢使用未经测试的想当然的想法,而非利用数据科学来做决策。视觉分析公司Atheon Analytics的总经理Guy Cuthbert认为,即使是在那些使用数据的公司中,许多仍然会有选择性的支持那些已经被认可的观点,而非真正数据验证的事实,而利用数据本身,只是靠想法制定决策的一种伪装罢了。
最近Actian公司在伦敦参加的一个圆桌会议上,Cuthbert谈到,数据科学涉及到提出假设和检验假设的方法,但他所遇到的大多数商品零售企业都绕过了这两个方法。
他说:我能一口气说出许多零售商的可怕故事,这些故事都有一个共同点,即这些零售商相信客户存在一个特定的行为方式,因为他们在开张的那一天就有人这么告诉他们了。他们从了没有真正质疑过这些说法而去探究真实的情况品类的真实情况、国家中特定地区的情况,或尺码的情况。数不清的案例表明,人们轻信别人告诉他们的东西,但却不去自己探究真正的事实是什么样的。
我们做了很多工作,想要把各种组织从‘想法驱动’改变为‘数据驱动’,让它们开始采用事实和假设的科学方法,而不是‘想当然’。Cuthbert说。
Cuthbert说,自己曾经努力帮助过许多公司,以让它们理解它们的产品的绩效表现,但这些公司都无法被认为具有分析能力。按照他的推测,全球的商业企业中大概只有百分之一甚至是只有千分之一是真正的数据驱动的。
Cuthbert说:我见过大量的依靠直觉运营的企业并不了解原来数据还可以产生决策。我也听过太多高管们滔滔不绝地喷出了各种各样的其实没有什么‘营养’的想法。因此,如果数据绘制者或者数据科学家去做一些事情,去教商人们他们的组织中所蕴含的那些令人着迷数据及背后的事实,他们就会开始自觉地去认识它们了。
然而,让业务揭穿企业中的一些(不真实)的神话并开始接受现实,接受以数据为基础的结论,并非易事。
在我们向人们展示我们的观点时,常遇到一些充满火药味的‘回击’,他们当面指责我们,说我们所说的是彻头彻尾的缪论。Cuthbert说。
另外一个问题是即使公司试图科学地使用数据,他们关注的点也过于聚焦而狭隘。
大多数与我们合作的公司关注已知的东西,他们总是着眼于诸如‘我们希望明年的收入增加6%,让我们确保能搞定6%’之类的东西。Cuthbert说。
他们没有去寻找增长30%或者120%的机会。我们很多工作只是浮于表面,或者展示那些他们其实自己也没有弄懂的一套东西。
不幸的是,尽管技术进步让我们能够非常容易地处理数十亿条数据,但分析本身,却必须依靠与人力完成。
机器缺乏灵感,这是造成机器学习以及其他计算机技术与人类思维鸿沟巨大的现时原因。Cuthbert说,灵感来自于人类懂得如何从数据中找出隐含的信息。
大数据分析公司Actian(之前叫Ingres)的CEO Steve Shine说,一直到现在,为了满足大数据所需要的开发技能,他们拥有一组特定的高预算的客户,这些客户需要他们的这些技能完成项目。
在过去的三四年中,如果你在任何的一个地方接触过hadoop项目,你就会意识到,能够写一个高效的MapReduce程序并使hadoop高效运行是一个相当牛逼的技能。Shine说,这种技能被技术社区热切地保护了起来,却并没有扩散,但最近的12个月内发生了戏剧性的变化。大家都接受了一个事情,即需要让利用新的技术变得更加容易。
我们把人们带回上世纪80年代,那时如果你能有现在通过代码来获取所有的数据和发现新见解的能力,你将会变得有多么的多产。
但现在新的问题是,大数据技术在迅猛扩散,各种版本的Hadoop、NoSQL,以及提供和整合数据的新方法层出不穷。
没有一个CIO因为把这些东西能够‘粘合’在一起而获得奖励。企业并不在乎你多快多好的把这些粘合在一起。企业也不在乎你到底能多快的帮助他找到客户流失数据。Shine说。
然而,现在的技术允许企业从他们通常的生产数据中发现意想不到的商业潜力。
Shine援引了他在福利和工资服务行业中的一个客户的情况,对于工资变化、毕业生和参与者的信息,这个客户自己处理数据后得到的信息,甚至要比政府提供的信息更能准确描绘宏观经济。
他说:那些看起来传统的组织,实际上已经有一个业务,即他们意识到如果它们以数据为中心,并且利用数据,以及尽可能地结合其它他们能获得的数据,他们就能够基本做出比现在他们能做出来的东西更具根本价值的东西,他说。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22