京公网安备 11010802034615号
经营许可证编号:京B2-20210330
物联网大数据将吞噬整个地球
人类创造的物理世界有多大,我们有衡量的概念,但是人类创造的数字世界到底有多大,相信这个概念还不够具体。
在大多数人的印象中,数据就是数字,或者必须是由数字构成的,其实不然,数据的范畴比数字要大得多,信息、现象、数据、状态和知识都可以是数据的一部分。
人类创造的物理世界的一切都可以是数据,在互联网上传播的文字、图片和视频是数据;工厂里所有的档案、尺寸、记录是数据;文物上的尺寸、年代、工艺也是数据。地球甚至宇宙存在的空间和时间也都可以是数据,小到一个粒子,大到一个星球的运行轨迹和生命周期。
一、人类创造数据的历史
虽然数据本身是客观存在的,但是它的范畴是随着文明的进程不断变化和扩大的。在计算机出现之前,数据大概相当于数字的记录,极少部分的信息,比如行星轨迹、力学原理等,会被用数据的方式记录并运算。
在计算机出现之后,以语言和文字形式存在的内容成为了全世界各种信息处理中最重要的数据,也是全世界通信领域和信息科技产业的核心数据。这其中也包括我们的信件、电话、电子邮件、图片、声音、视频、互联网网页,以及各种社交产品中由用户产生的内容。
在移动互联网普及之后,我们人类的活动本身,开始被数据化,比如我们的行为模式、我们的社会关系、我们每天的活动、位置信息、消费及购物习惯等。这些数据由于涉及个人隐私,大部分储存与少数商家手中,但是从亚马逊的个性化商品推荐服务,到金融理财产品的定制化设计,基于个人数据的商用从未停歇。
在万物互联时代,越来越多的物理硬件,将会由传感器收集、采集数据,并通过物联网络传输回平台侧。连接点数将会千倍万倍于目前的以人为主要连接点的网络,而产生的数据,也变得更加实时,更加完备,更加庞大。
在万物互联时代,大数据的几个重要特征,将会被成倍放大,并最终形成特殊的应用场景及商业模式。本文就将针对这部分内容进行探讨。
二、物联网大数据三个被放大的特征
1.数据的体量将会成倍增加
正如移动互联网时代,核心网络节点从PC转换为人一样,在万物互联时代,无数的物理硬件将成为核心网络节点,数据来自无数自动化传感器、自动记录设施、生产监测、环境监测、交通监测、安防监测等;来自自动流程记录,刷卡机、收款机、电子不停车收费系统,互联网点击、电话拨号等设施以及各种办事流程登记等。
由于连接数的增加、不间断的数据收集、存储、回传,以及更高清的图片和视频应用,都会让数据的体量有惊人的爆发。
比如Google街景服务,每辆车每天产生的数据将达到1TB,加入分三个拷贝,一年就是1PB,而目前最大容量的存储硬盘不过是10TB。
在万物互联的场景下,每天都会有大量的终端在进行类似Google街景这样的数据回传,而大数据的理念,要求数据尽可能的庞大且非刻意收集。
伴随着物联网技术的成熟,产业的爆发,各种随身设备、物联网和云计算、云存储等技术的发展,万物将都被联网,物的所有轨迹都可以被记录,一切皆被数字化,因此产生的数据,可以想象,比之今天,会有多大量级的增加。
数据的存储,数据的计算与挖掘技术,都将成为万物互联场景下,大数据应用的核心能力。
2.数据的及时性特征将会被放大
在互联网甚至是移动互联网时代,数据的及时性并没有那么重要,大量的统计结果是基于过往数据的挖掘而产生的,这些不及时的数据意义也是非常巨大的。
Google利用不同地区人们的搜索习惯,成功预测了流行疾病的爆发,Facebook利用了网民在无压力情况下浏览网页、评论、点赞、社交言论的情况,成功预测了美国各州总统大选的结果。都属于利用过往大数据的成功应用案例。
但是在万物互联场景下,由于物联网可以实现微量数据的不间断回传,人们对于数据的及时性需求将越来越旺盛,无等待服务将被更多的行业提供,从而产生更多的应用场景。
比如在智慧交通上,百度、高德等地图厂商,已经可以通过智能手机的数据回传,动态监控整个城市的交通情况,从而为用户提供实时的路况信息。
目前这种路况信息已经取代了传统的交通广播模式,能够实现个性化的关注出行路线的路况,并根据交通情况,自动设计、自动更改。
目前,在物联网应用领域,缺乏一个类似Iphone之于移动互联网一般里程碑似得产品。而大多数人都将此寄希望于无人驾驶,因为人类如果能将汽车,这样一个工业时代最终要的个人产品进行智能化、数字化,那么将极大的带动其他产业物联网化的发展。
而无人驾驶的前提,除了提前将整个街区数字化以外,不间断的数据回传也非常重要。在物联网环境下,随着车与更多物品连接起来,将会形成更大范围的网络效应,交通这个生态也将进一步丰富起来。
3.数据的完备性将得到极大程度的丰富
在大数据时代,数据格式变得越来越多样,涵盖了文本、音频、图片、视频、模拟信号等不同的类型;数据来源也越来越多样,不仅产生于组织内部运作的各个环节,也来自于组织外部。
例如,在交通领域,北京市交通智能化分析平台数据来自路网摄像头/传感器、公交、轨道交通、出租车以及省际客运、旅游、化危运输、停车、租车等运输行业,还有问卷调查和地理信息系统数据。
4万辆浮动车每天产生2000万条记录,交通卡刷卡记录每天1900万条,手机定位数据每天1800万条,出租车运营数据每天100万条,电子停车收费系统数据每天50万条,定期调查覆盖8万户家庭等等,这些数据在体量和速度上都达到了大数据的规模。
数据的完备性,尤其是跨界数据的交叉运用,将会产生意想不到的应用场景。
亚马逊正是此中高手,更加完备的数据,让亚马逊在个性化推荐的时候,并不用如沃尔玛一样思考为什么买啤酒的用户会买尿不湿,他们只是通过统计学发现数以百计的类似关联现象,配合更多诸如年龄、消费习惯、性别等标签数据,将结论直接用于精细化营销。
物联网大数据的故事还有很长很长,数据的爆发只是一个开始,我们如何收集海量的数据,如何储存,如何设定算法,如何运用机器智能实现自动运算,如何将运算的结果用于预测未来或者更多的商业场景,最后如何确保我们的数据安全。
这里的每一个步骤,都是一个细分领域,我们在大数据应用的路上,也才刚刚起步。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27