京公网安备 11010802034615号
经营许可证编号:京B2-20210330
物联网大数据将吞噬整个地球
人类创造的物理世界有多大,我们有衡量的概念,但是人类创造的数字世界到底有多大,相信这个概念还不够具体。
在大多数人的印象中,数据就是数字,或者必须是由数字构成的,其实不然,数据的范畴比数字要大得多,信息、现象、数据、状态和知识都可以是数据的一部分。
人类创造的物理世界的一切都可以是数据,在互联网上传播的文字、图片和视频是数据;工厂里所有的档案、尺寸、记录是数据;文物上的尺寸、年代、工艺也是数据。地球甚至宇宙存在的空间和时间也都可以是数据,小到一个粒子,大到一个星球的运行轨迹和生命周期。
一、人类创造数据的历史
虽然数据本身是客观存在的,但是它的范畴是随着文明的进程不断变化和扩大的。在计算机出现之前,数据大概相当于数字的记录,极少部分的信息,比如行星轨迹、力学原理等,会被用数据的方式记录并运算。
在计算机出现之后,以语言和文字形式存在的内容成为了全世界各种信息处理中最重要的数据,也是全世界通信领域和信息科技产业的核心数据。这其中也包括我们的信件、电话、电子邮件、图片、声音、视频、互联网网页,以及各种社交产品中由用户产生的内容。
在移动互联网普及之后,我们人类的活动本身,开始被数据化,比如我们的行为模式、我们的社会关系、我们每天的活动、位置信息、消费及购物习惯等。这些数据由于涉及个人隐私,大部分储存与少数商家手中,但是从亚马逊的个性化商品推荐服务,到金融理财产品的定制化设计,基于个人数据的商用从未停歇。
在万物互联时代,越来越多的物理硬件,将会由传感器收集、采集数据,并通过物联网络传输回平台侧。连接点数将会千倍万倍于目前的以人为主要连接点的网络,而产生的数据,也变得更加实时,更加完备,更加庞大。
在万物互联时代,大数据的几个重要特征,将会被成倍放大,并最终形成特殊的应用场景及商业模式。本文就将针对这部分内容进行探讨。
二、物联网大数据三个被放大的特征
1.数据的体量将会成倍增加
正如移动互联网时代,核心网络节点从PC转换为人一样,在万物互联时代,无数的物理硬件将成为核心网络节点,数据来自无数自动化传感器、自动记录设施、生产监测、环境监测、交通监测、安防监测等;来自自动流程记录,刷卡机、收款机、电子不停车收费系统,互联网点击、电话拨号等设施以及各种办事流程登记等。
由于连接数的增加、不间断的数据收集、存储、回传,以及更高清的图片和视频应用,都会让数据的体量有惊人的爆发。
比如Google街景服务,每辆车每天产生的数据将达到1TB,加入分三个拷贝,一年就是1PB,而目前最大容量的存储硬盘不过是10TB。
在万物互联的场景下,每天都会有大量的终端在进行类似Google街景这样的数据回传,而大数据的理念,要求数据尽可能的庞大且非刻意收集。
伴随着物联网技术的成熟,产业的爆发,各种随身设备、物联网和云计算、云存储等技术的发展,万物将都被联网,物的所有轨迹都可以被记录,一切皆被数字化,因此产生的数据,可以想象,比之今天,会有多大量级的增加。
数据的存储,数据的计算与挖掘技术,都将成为万物互联场景下,大数据应用的核心能力。
2.数据的及时性特征将会被放大
在互联网甚至是移动互联网时代,数据的及时性并没有那么重要,大量的统计结果是基于过往数据的挖掘而产生的,这些不及时的数据意义也是非常巨大的。
Google利用不同地区人们的搜索习惯,成功预测了流行疾病的爆发,Facebook利用了网民在无压力情况下浏览网页、评论、点赞、社交言论的情况,成功预测了美国各州总统大选的结果。都属于利用过往大数据的成功应用案例。
但是在万物互联场景下,由于物联网可以实现微量数据的不间断回传,人们对于数据的及时性需求将越来越旺盛,无等待服务将被更多的行业提供,从而产生更多的应用场景。
比如在智慧交通上,百度、高德等地图厂商,已经可以通过智能手机的数据回传,动态监控整个城市的交通情况,从而为用户提供实时的路况信息。
目前这种路况信息已经取代了传统的交通广播模式,能够实现个性化的关注出行路线的路况,并根据交通情况,自动设计、自动更改。
目前,在物联网应用领域,缺乏一个类似Iphone之于移动互联网一般里程碑似得产品。而大多数人都将此寄希望于无人驾驶,因为人类如果能将汽车,这样一个工业时代最终要的个人产品进行智能化、数字化,那么将极大的带动其他产业物联网化的发展。
而无人驾驶的前提,除了提前将整个街区数字化以外,不间断的数据回传也非常重要。在物联网环境下,随着车与更多物品连接起来,将会形成更大范围的网络效应,交通这个生态也将进一步丰富起来。
3.数据的完备性将得到极大程度的丰富
在大数据时代,数据格式变得越来越多样,涵盖了文本、音频、图片、视频、模拟信号等不同的类型;数据来源也越来越多样,不仅产生于组织内部运作的各个环节,也来自于组织外部。
例如,在交通领域,北京市交通智能化分析平台数据来自路网摄像头/传感器、公交、轨道交通、出租车以及省际客运、旅游、化危运输、停车、租车等运输行业,还有问卷调查和地理信息系统数据。
4万辆浮动车每天产生2000万条记录,交通卡刷卡记录每天1900万条,手机定位数据每天1800万条,出租车运营数据每天100万条,电子停车收费系统数据每天50万条,定期调查覆盖8万户家庭等等,这些数据在体量和速度上都达到了大数据的规模。
数据的完备性,尤其是跨界数据的交叉运用,将会产生意想不到的应用场景。
亚马逊正是此中高手,更加完备的数据,让亚马逊在个性化推荐的时候,并不用如沃尔玛一样思考为什么买啤酒的用户会买尿不湿,他们只是通过统计学发现数以百计的类似关联现象,配合更多诸如年龄、消费习惯、性别等标签数据,将结论直接用于精细化营销。
物联网大数据的故事还有很长很长,数据的爆发只是一个开始,我们如何收集海量的数据,如何储存,如何设定算法,如何运用机器智能实现自动运算,如何将运算的结果用于预测未来或者更多的商业场景,最后如何确保我们的数据安全。
这里的每一个步骤,都是一个细分领域,我们在大数据应用的路上,也才刚刚起步。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Python数据分析中,Pandas库的DataFrame是最核心、最常用的结构化数据表对象,类似于Excel的二维表格,具备规整的行列结构、字 ...
2026-09-07在数据分析、经营复盘、业绩预测与经济统计工作中,平均增速(平均增长率)是衡量数据长期变化趋势、业务发展快慢的核心指标。不 ...
2026-09-07 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-09-07随着大数据技术的快速发展,商业竞争逐步从传统的经验式经营转变为数据驱动的精细化运营。海量的用户行为数据、交易数据、运营数 ...
2026-09-04CDA数据分析师 出品 作者:李诗怡 1. 波士顿矩阵(BCG Matrix) 定义: BCG于1970年提出的业务组合分析工具,以"市场增长率"(纵 ...
2026-09-04 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-09-04数据透视表是Excel与Power BI中最核心的数据分析工具,具备快速汇总、维度拆分、动态筛选的能力,可高效完成数据归类与统计展示 ...
2026-09-03在Power BI数据分析可视化场景中,堆积柱状图+折线图是最常用的复合图表组合。堆积柱状图适合展示各细分维度当期数值、结构占比 ...
2026-09-03 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据的基本处理单位是什么”“数据类型误判会引发哪些分析错误”“ ...
2026-09-03CDA数据分析师 出品 作者:李诗怡 一、8个核心数据清洗函数 1. TRIM:一键清除多余空格(最常用) 作用:仅保留文本中"单词/字 ...
2026-09-02数据分析的核心并非单纯操作工具、整理报表或绘制图表,而是依靠科学的思维逻辑挖掘数据价值、解释业务现象、指导经营决策。在完 ...
2026-09-02在社会经济、产业研究、区域治理与大数据实证分析中,面板数据是最具研究价值的数据类型。面板数据同时包含截面维度与时间维度信 ...
2026-09-02 很多数据分析师能熟练计算均值、标准差,但当被问到“如何用一张图让业务方3秒内看懂核心结论”“面对不同数据类型该怎么选 ...
2026-09-02在数据驱动决策的体系中,数据分析按照分析目的可分为描述性分析、诊断性分析、预测性分析与指导性分析四大类型。其中,诊断性分 ...
2026-09-01网络请求是Python爬虫开发、接口测试、数据拉取的核心基础功能,Python生态中主要依靠 urllib 和 requests 两大库实现HTTP请求操 ...
2026-09-01 很多数据分析师面对业务问题时,常常感到“知道要分析,却不知道用什么方法”。其实,数据分析并非无章可循——从三大基础范 ...
2026-09-01在数据库设计与业务数据维护中,自增ID是数据表最常用的主键字段,用于唯一标识每一条业务数据,正常状态下ID应保持连续递增。但 ...
2026-08-31在数理统计、数据分析、经济测算与日常量化评估中,平均值是刻画数据集中趋势、反映整体水平的基础核心指标。在实际应用中,最常 ...
2026-08-31在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-08-31在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28