京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据增长为数据存储系统带来新挑战
分析机构Gartner副总裁Donald Feinberg表示,数据存储的角色之所以会有所转变,其中一项因素就是数据不仅在数量上变多,而且日益复杂,对于5到10年前所设计出来的数据存储系统来说,就必须要能处理资源的多样性、复杂性、巨大的容量而且系统反应速度要即时等特性。而他认为,虽然大数据对不同产业都有不同的意义,但基本上,大数据代表的就是大量、复杂和非结构化的数据。
但是,对于擅长处理结构化数据的关联式数据库管理系统来说,是很难去处理大数据的。因此,Donald Feinberg表示,目前大部分的企业会特别打造一个空间或是平台来存放非结构化数据或是大数据。
应用大数据的来临,Donald Feinberg表示,未来逻辑数据存储的概念将会浮现,也就是将不同性质的数据存放在不同的数据库中,就可以用适当的工具来获取正确的资源,同时,逻辑数据存储会利用适当的后设数据连结所有数据存储系统中不同的数据。
Donald Feinberg也表示,有许多工具都是用来处理巨量而非结构化的数据,但是,将有很多应用程式是使用MapReduce技术开发。
数据存储厂商面临必须快速回应查询的挑战
大数据影响层面之广,IDC软件市场分析师锺翠玲表示,大数据对于各方厂商都是新的战场,其中也包含了存储厂商,像是EMC买下数据存储软件业者Greenplum就是一例。原因正是,她认为,数据存储的确是可应用大数据的主力。
不过,对数据存储厂商来说,还是有不少挑战存在,首当其冲的是,他们必须要强化关联式数据库的效能,增加数据管理和数据压缩的功能。
因为过往关联性数据库产品处理大量数据时的运算速度都不快,需要引进新技术来加速数据查询的功能。另外,数据存储的厂商也开始尝试不只采用传统硬盘来存储数据,像是使用快速闪存的数据库、闪存数据库等,都逐渐产生。
另一个挑战就是传统关联性数据库无法分析非结构化数据,因此,并购具有分析非结构化数据的厂商以及数据管理厂商,是目前数据存储大厂扩展实力的方向。
数据管理的影响主要是数据安全的考量。IDC软件市场分析师吴乃沛表示,大数据对于存储技术与资源安全也都会产生冲击。首先,快照、重复数据删除等技术在大数据时代都很重要,就衍生了数据权限的管理。
举例来说,现在企业后端与前端所看到的数据模式并不一样,当企业要处理非结构化数据时,就必须制定出是IT部门还是业务单位才是数据管理者。而吴乃沛表示,由于这牵涉的不仅是技术问题,还有公司政策的制定,因此界定出数据管理者是企业目前最头痛的问题。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在SQL数据分析与业务查询中,日期数据是高频处理对象——订单创建时间、用户注册日期、数据统计周期等场景,都需对日期进行格式 ...
2026-01-21在实际业务数据分析中,单一数据表往往无法满足需求——用户信息存储在用户表、消费记录在订单表、商品详情在商品表,想要挖掘“ ...
2026-01-21在数字化转型浪潮中,企业数据已从“辅助资源”升级为“核心资产”,而高效的数据管理则是释放数据价值的前提。企业数据管理方法 ...
2026-01-21在数字化商业环境中,数据已成为企业优化运营、抢占市场、规避风险的核心资产。但商业数据分析绝非“堆砌数据、生成报表”的简单 ...
2026-01-20定量报告的核心价值是传递数据洞察,但密密麻麻的表格、复杂的计算公式、晦涩的数值罗列,往往让读者望而却步,导致核心信息被淹 ...
2026-01-20在CDA(Certified Data Analyst)数据分析师的工作场景中,“精准分类与回归预测”是高频核心需求——比如预测用户是否流失、判 ...
2026-01-20在建筑工程造价工作中,清单汇总分类是核心环节之一,尤其是针对楼梯、楼梯间这类包含多个分项工程(如混凝土浇筑、钢筋制作、扶 ...
2026-01-19数据清洗是数据分析的“前置必修课”,其核心目标是剔除无效信息、修正错误数据,让原始数据具备准确性、一致性与可用性。在实际 ...
2026-01-19在CDA(Certified Data Analyst)数据分析师的日常工作中,常面临“无标签高维数据难以归类、群体规律模糊”的痛点——比如海量 ...
2026-01-19在数据仓库与数据分析体系中,维度表与事实表是构建结构化数据模型的核心组件,二者如同“骨架”与“血肉”,协同支撑起各类业务 ...
2026-01-16在游戏行业“存量竞争”的当下,玩家留存率直接决定游戏的生命周期与商业价值。一款游戏即便拥有出色的画面与玩法,若无法精准识 ...
2026-01-16为配合CDA考试中心的 2025 版 CDA Level III 认证新大纲落地,CDA 网校正式推出新大纲更新后的第一套官方模拟题。该模拟题严格遵 ...
2026-01-16在数据驱动决策的时代,数据分析已成为企业运营、产品优化、业务增长的核心工具。但实际工作中,很多数据分析项目看似流程完整, ...
2026-01-15在CDA(Certified Data Analyst)数据分析师的日常工作中,“高维数据处理”是高频痛点——比如用户画像包含“浏览次数、停留时 ...
2026-01-15在教育测量与评价领域,百分制考试成绩的分布规律是评估教学效果、优化命题设计的核心依据,而正态分布则是其中最具代表性的分布 ...
2026-01-15在用户从“接触产品”到“完成核心目标”的全链路中,流失是必然存在的——电商用户可能“浏览商品却未下单”,APP新用户可能“ ...
2026-01-14在产品增长的核心指标体系中,次日留存率是当之无愧的“入门级关键指标”——它直接反映用户对产品的首次体验反馈,是判断产品是 ...
2026-01-14在CDA(Certified Data Analyst)数据分析师的业务实操中,“分类预测”是高频核心需求——比如“预测用户是否会购买商品”“判 ...
2026-01-14在数字化时代,用户的每一次操作——无论是电商平台的“浏览-加购-下单”、APP的“登录-点击-留存”,还是金融产品的“注册-实名 ...
2026-01-13在数据驱动决策的时代,“数据质量决定分析价值”已成为行业共识。数据库、日志系统、第三方平台等渠道采集的原始数据,往往存在 ...
2026-01-13