
数据库与大数据领域回顾与展望
2012注定是不平凡的一年,玛雅人将世界末日定在这一年的12月21日,然而这一天也许并不意味着结束,而是重生。正如2012对于大数据的意义一样,经过一年的历练,IT业界将在2013年迎来大数据元年。
一、2012年度回顾:大数据蓄势待发迎接元年
(一)2012年大数据呈现新特征
大数据不是刚刚出现的概念,大数据最早可以追溯到Apache的开源项目Nutch,当时大数据用来描述更新网络搜索索引所需批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System(GFS)的发布,大数据不仅仅用来描述大量的数据,还涵盖了处理数据的速度。
业界对大数据最普遍的认知是它的4V特征,即海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。2012年作为大数据产业蓄势待发的一年,大数据呈现以下新特征:
1.数据量增长更加迅速。随着社交网络和移动互联网的发展,数据呈现爆炸式增长,甚至过去三年里产生的数据量超越了以往四万年的数据量。国内最大的微博新浪微博在今年第三季度宣布注册用户已超过4亿,用户平均每天发布超过10亿条微博内容,活跃用户中有60%通过移动终端登录,所有来自移动终端的原创内容中,有40%的微博分享照片。根据IDC今年一项研究显示,未来10年全球数据量将以40%的速度增长,到2020年将达到35ZB(Zettabyte),大数据将迎来ZB时代。然而这仅仅是个开始,未来数据量将达到什么级别,我们无法想象。
2.数据在企业中的地位日益突出。数据是企业最宝贵的资源。当前,企业最迫切的就是希望能从大数据中挖掘商业价值,以保持其在市场中的竞争力。随着数据挖掘、数据分析和商业智能技术的不断深入,企业决策越来越依赖于数据。大数据将会创造一个新的经济领域,该领域的全部任务就是将信息或数据转化为经济利益。分析的数据越全面,分析结果就越接近于真实,才能更好的指导企业运营。.企业中的数据既包括结构化数据,也包括非结构化数据,且非结构化数据的比例越来越高。IDC在报告中指出,利用大数据的商业价值:领军企业与其他企业之间最大的显著差别在于新数据类型的引入,那些没有引入新的分析技术和新的数据类型的企业,不太可能成为其行业的领军者。
3.大数据人才缺口巨大。大数据时代更需要复合型人才,能够帮助组织在大量信息中挖掘有价值的数据,并将数据转化为深入的认知和精准预测的模型。大数据人才须具备综合性素质:他们通常是统计学家并且精通数据建模,同时知道如何在可用数据中使用最佳的算法,这极具技术含量。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。今年7月,阿里巴巴集团成为国内第一家任命首席数据官的企业,业内也普遍看好数据人才的未来。
4.企业对大数据的投入增加。2012年大数据市场的增长速度明显快于整个IT市场,据Gartner的最新统计,大数据市场销售额将在2012年增长21.4%,达到340亿美元。在今年大数据总开支中,只有43亿美元或12.6%的资金是直接由新的大数据功能产生的,而大部分的开支仍流向比较传统的解决方案,以满足企业对速度、多样性和数据容量的需求。目前企业对大数据的投入还停留在基础设施建设阶段,想要真正将数据转化为价值,还需继续在数据分析和展现等环节加大投入。
(二)IT巨头进军大数据 新兴企业不断涌现
大数据带来的商业机遇被越来越多的厂商看重,传统IT厂商陆续推出大数据产品及解决方案,引入多年技术积累和客户资源;同时大数据新兴企业不断涌现,大有超越前者之势。
1.IT巨头进军大数据。以IBM、Oracle、SAP、Intel、微软为代表的老牌IT厂商将业务触角伸向大数据产业,推出软件、硬件及软硬件一体化的行业解决方案。这其中既包括对Hadoop等开源大数据技术的集成,也包括各大厂商独有的创新技术。
收购也是IT巨头进入大数据市场的敲门砖。今年4月,虚拟化巨头VMware收购大数据分析的初创企业Cetas,提供Hadoop平台上的分析服务,从而开启VMware大数据之旅。另外,大数据收购案例还包括Teradata收购高级分析和管理各种非结构化数据领域的市场领导者和开拓者Aster Data,IBM收购商业分析公司Netezza等。
这些老牌IT厂商技术实力不俗,产品线丰富,在各个领域发挥重要作用。进军大数据市场,既增加了雄厚的技术底蕴,也能够让客户更容易的接受他们的产品或解决方案,逐渐成为大数据产业发展的主力军。
2.新兴企业不断涌现。与那些老牌IT厂商不同,大数据市场还吸引了许多新兴企业的加盟。面对大数据带来的无限商机,初创公司开始挖掘大数据的商业价值,推出别具一格的产品或解决方案。
在这些新兴企业中,有业内比较熟悉的基于Apache Hadoop的大数据分析解决方案的提供商Datameer、大数据分析公司Connotate、大数据技术初创公司ClearStory Data等,其中大数据公司Splunk于今年4月在纳斯达克成功上市。
新兴企业拥有独特的技术优势,是传统IT企业所不具有的。相对于IT巨头,新兴企业更能够从细化的角度服务企业,向企业提供更专业的大数据服务。因此,在充满机遇的大数据市场,新兴企业完全有可能超越IT巨头,在短时间内获得市场的认可。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28