
有些人认为,“大数据”这一词汇不过是企业营销时的大肆炒作。但即使是那些接受大数据概念的人,也需要消除某些大数据误区。
全球领先的信息技术研究和咨询公司Gartner指出,大肆宣传大数据概念,使企业在选择适当的行动方案时,受到更多困扰,但对消除一些仍存在的误区却毫无帮助。
例如,80%的数据是非结构化的,这是错误的;又如高级分析功能只是更复杂形式的普通分析,分析公司Gartner指出,这也是不正确的。
Gartner公司在已发布的两篇报告《大数据对分析功能影响中的主要误区》和《大数据对信息基础设施影响中的主要误区》中,集中探讨大数据对分析功能及信息基础设施影响中的相关误区,希望展示大数据相关的更多真实情况。以下摘取大数据概念的五大误区。
误区一:在大数据技术部署中,其他人都领先我们
虽然越来越多的企业开始关注大数据技术和服务,Gartner公司测算结果显示,73%的企业正在投入或策划大数据技术,但大多数企业才刚刚开始接受这一技术。
因此,担心竞争对手运用大数据技术快速发展实在是杞人忧天。实际上,只有13%的受访企业真正开始部署大数据相关技术。
大数据的五大误区及其破解之道
Gartner公司表示:“企业面临的最大挑战是怎样通过大数据获得价值以及怎样入手部署大数据技术。大多数企业在试点阶段就遇到困难,因为他们并没有在业务过程或实际用例中运用该技术。”
Gartner公司的结论是:你并没有落后。为实际的任务制定策略,并与IT及业务部门合作。
误区二:数据量很大,而小缺陷无关紧要
有人认为,根据大数定律(Law of Large Numbers),独立的数据缺陷无关紧要,不会影响分析结果。
与更小规模的数据集相比,独立的数据缺陷对整个数据集的影响的确要小很多,但目前,数据量不断增长,数据缺陷与以往相比也越来越多。
Gartner公司表示:“因此,低质量数据对整个数据集的整体影响仍保持不变。此外,企业在大数据环境下使用的大部分数据来自外部数据源,其数据结构和来源未知。”
“这意味着数据质量问题的风险比以往更高。因此,在大数据部署中,数据质量实际上更加重要。”
Gartner公司的结论是:设计出新的数据质量管理方式,并选择数据质量级别。严格遵守数据质量保障的核心原则。
误区三:大数据将取代数据整合能力
企业希望通过读时模式(Schema on Read)处理信息,使用多个数据模型灵活地读取同一个数据源。这种灵活性将帮助最终用户决定怎样按需解释任意数据信息,并实现个体用户数据访问的定制化能力。然而,大多数用户实际上使用写时模式(Schema on Write)。写时模式下用户可描述数据并制定内容,而数据完整性也能保持一致。
误区四:将数据仓库用于高级分析是毫无意义的
有些人认为,高级分析功能可使用新的数据类型时,部署数据仓库则浪费时间。实际上,大多数高级分析项目在分析时都使用数据仓库。
新的数据类型还可能需要提炼,使其适于数据分析。此外,哪些是相关数据、怎样聚合数据以及必要的数据质量级别等都需要企业做出决策。
Gartner公司的结论是:尽可能使用数据仓库存储经人工收集检查的数据集,用于高级分析功能。
误区五:数据湖将取代数据仓库
数据湖解决方案通常被当作企业级平台销售,用于分析原生格式下的各种不同的数据源。但Gartner公司认为,数据湖取代数据仓库,或作为分析基础设施中的重要组件是错误的观点。
与已经成型的数据仓库技术相比,数据湖技术尚未成熟,其功能不够全面。“数据仓库已具备支持多种用户群体的能力。”因此,企业无需等待数据湖技术的成熟。
Gartner公司的结论是:在现有数据仓库中运用Hadoop等数据湖技术。只有在元数据管理技术、工具及培训上投入,才能通过数据湖技术创造业务价值。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28