京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据在物联网中变革了谁
物联网的价值在于其数据,而物联网带来的史无前例的数据规模将驱动现在的数据服务企业发生根本性改变,这要求企业调整其大数据战略。
具有“大数据时代预言家”之称的维克托·迈尔曾经在自己的著名论著《大数据时代》中预言——物联网(IOT)技术的发展将极大地改变传统数据存储分析领域。这就难怪有那么多的公司正试图投身物联网大潮。据麦肯锡全球研究院的最新报告显示:到2025年,物联网行业的总营收将达6.2万亿美元。
但正如维克托担心的一样——这些弄潮儿们真的为物联网将造就的大数据时代做好准备了吗?
当然,除了技术层面的考虑,安全问题也不容忽视。但是,笔者更关心的是:全球大多数的数据中心(包括那些专门非盈利性的数据存储和分析机构)对由物联网即将带来的海量数据似乎毫无准备。
当然有一些科技公司仍然坚持认为自己完全有能力管理好自己的数据中心,但是当数据量以PB或者EB为单位增加时,不知道这些公司是否还认为笔者庸人自扰?如果依旧固执己见,那么他们就不得不对相应的基础设施进行大笔的投资。而相对聪明的公司会选择业界领先的云存储公司作为自己的战略同盟。所以,由物联网引起的大数据潮流将会助推云存储和云计算的发展。
物联网产生的大数据处理过程可以归结为三个基本步骤:数据采集、数据存储和数据分析。数据采集和存储是基本的功能,而大数据时代真正的价值蕴含在数据分析中。对于大数据时代的到来,有专家曾经估计有半数以上的大数据公司可能夭折,而原因是他们未能掌握数据采集相关技术。当然也并不是说过了数据采集这个难关就可以万事大吉,接下来在数据存储方面仍有一连串的挑战。比如,公司必须掌握如分布式计算、并行计算等先进的存储计算方法。
2009年,甲型H1N1流感病毒肆虐全球。与流感病毒传播速度相比,美国政府对流感病例的申告制度显得效率低下。这时候人们才重新注意流感病毒爆发前几周,谷歌公司几位工程师在《Nature》上发表的一篇文章。在文章中,谷歌公司通过对全美境内5000万条最频繁检索的词条和美国疾控心公布的季节性流感传播数据进行比较发现:在未来一段时间很可能爆发一次大规模的流感疫情,而且清楚预测出了具体的地区和州。最后疫情爆发的时候,疾控中心惊讶地发现谷歌公司的预测竟然与疫情爆发地精准吻合。所以,对于大数据时代而言真正的意义在于数据分析。
数据分析的挑战还在于将新的物联网数据和已有的数据库整合。iDoNews认为,有两个方面最令人头疼。首先,软件方面——原来的数据库与物联网数据库之间使用的存储方法不同,这时候就要求公司不得不靠大量的人工重新定义原来的海量数据。第二,硬件方面——两种数据库之间所使用硬件介质(服务器、磁盘等存储介质和网络等基础设施)不同,这将导致公司需要进行更大规模的基础设施建设。
这时候如果还有公司想靠自己一方的努力管理本公司数据,那无疑是作死。
为此,真正有眼光的企业可以采用如下三种方案:
第一种,也是最流行的方式——利用成熟的第三方数据库服务(DBaaS),如亚马逊的Redshift.这种模式的优势在于,客户公司不需要具备安装、管理和运行任何大型数据库的经验和技术。
第二种,利用大数据托管服务。托管服务供应商(MSP)将负责数据收集、数据库管理并提供进行分析和提取数据集的服务。这种模式不仅使企业专注于其商业价值所在的数据分析而将一些较难处理的事情外包,而且还使企业用户无需大量先期投入就可以快速进入大数据应用的市场化阶段,同时也解决了很多企业在该领域的技术短缺。
第三种,基于云计算的数据库矩阵解决方案。这种模式主要针对那些具有多种不同类型、甚至非联系型数据库的公司。这些公司通常要求数据存放于多个数据中心,并且既存于公共端也可能存在私有的云端。公司不仅要求不同类型数据库的解决方案,而且对自身的大数据也有不同的应用需求。美国主机服务商ServePath下的GoGrid云计算平台正致力于这种数据库管理服务。
物联网的价值在于其数据,而物联网带来的史无前例的数据规模将驱动现在的数据服务企业发生根本性改变,这要求企业调整其大数据战略。等着瞧吧,物联网必然催生出大数据管理领域的大赢家。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在SQL数据分析与业务查询中,日期数据是高频处理对象——订单创建时间、用户注册日期、数据统计周期等场景,都需对日期进行格式 ...
2026-01-21在实际业务数据分析中,单一数据表往往无法满足需求——用户信息存储在用户表、消费记录在订单表、商品详情在商品表,想要挖掘“ ...
2026-01-21在数字化转型浪潮中,企业数据已从“辅助资源”升级为“核心资产”,而高效的数据管理则是释放数据价值的前提。企业数据管理方法 ...
2026-01-21在数字化商业环境中,数据已成为企业优化运营、抢占市场、规避风险的核心资产。但商业数据分析绝非“堆砌数据、生成报表”的简单 ...
2026-01-20定量报告的核心价值是传递数据洞察,但密密麻麻的表格、复杂的计算公式、晦涩的数值罗列,往往让读者望而却步,导致核心信息被淹 ...
2026-01-20在CDA(Certified Data Analyst)数据分析师的工作场景中,“精准分类与回归预测”是高频核心需求——比如预测用户是否流失、判 ...
2026-01-20在建筑工程造价工作中,清单汇总分类是核心环节之一,尤其是针对楼梯、楼梯间这类包含多个分项工程(如混凝土浇筑、钢筋制作、扶 ...
2026-01-19数据清洗是数据分析的“前置必修课”,其核心目标是剔除无效信息、修正错误数据,让原始数据具备准确性、一致性与可用性。在实际 ...
2026-01-19在CDA(Certified Data Analyst)数据分析师的日常工作中,常面临“无标签高维数据难以归类、群体规律模糊”的痛点——比如海量 ...
2026-01-19在数据仓库与数据分析体系中,维度表与事实表是构建结构化数据模型的核心组件,二者如同“骨架”与“血肉”,协同支撑起各类业务 ...
2026-01-16在游戏行业“存量竞争”的当下,玩家留存率直接决定游戏的生命周期与商业价值。一款游戏即便拥有出色的画面与玩法,若无法精准识 ...
2026-01-16为配合CDA考试中心的 2025 版 CDA Level III 认证新大纲落地,CDA 网校正式推出新大纲更新后的第一套官方模拟题。该模拟题严格遵 ...
2026-01-16在数据驱动决策的时代,数据分析已成为企业运营、产品优化、业务增长的核心工具。但实际工作中,很多数据分析项目看似流程完整, ...
2026-01-15在CDA(Certified Data Analyst)数据分析师的日常工作中,“高维数据处理”是高频痛点——比如用户画像包含“浏览次数、停留时 ...
2026-01-15在教育测量与评价领域,百分制考试成绩的分布规律是评估教学效果、优化命题设计的核心依据,而正态分布则是其中最具代表性的分布 ...
2026-01-15在用户从“接触产品”到“完成核心目标”的全链路中,流失是必然存在的——电商用户可能“浏览商品却未下单”,APP新用户可能“ ...
2026-01-14在产品增长的核心指标体系中,次日留存率是当之无愧的“入门级关键指标”——它直接反映用户对产品的首次体验反馈,是判断产品是 ...
2026-01-14在CDA(Certified Data Analyst)数据分析师的业务实操中,“分类预测”是高频核心需求——比如“预测用户是否会购买商品”“判 ...
2026-01-14在数字化时代,用户的每一次操作——无论是电商平台的“浏览-加购-下单”、APP的“登录-点击-留存”,还是金融产品的“注册-实名 ...
2026-01-13在数据驱动决策的时代,“数据质量决定分析价值”已成为行业共识。数据库、日志系统、第三方平台等渠道采集的原始数据,往往存在 ...
2026-01-13