
抢占大数据源头
在信息化的过程中,产生了结构化、半结构化和非结构化的数据,这种用电子化数据记录、传输和表示信息的方式是“智”。当这些数据达到一定的量级,数据的魅力才会显现,可以发挥出“慧”的优势,我们简称这种有价值的数据为大数据。由于人类社会财富的60%是近30年内创造的,90%的数据是近5年内记录的,大数据随着时代的发展越来越引人关注。它已经被运用到很多方面:社会管理、商业智能、军事侦察,医疗诊断等。
大数据在被获取之后,一般会被索引分类。储存在服务器的数据经过挖据、分析和处理,数据才有大作用。这个过程最为关键的是数据源,谁掌握了数据源头谁将掌握未来(但愿不是美国政府的秘密情报监视机构)。
1 直接的大数据源头——大自然
克强指数是一项用于评估中国GDP增长量的经济指标,它包含三个基本要素:工业用电量新增、铁路货运量新增和银行中长期贷款新增。这三个数据是属于人类社会源头的,可以通过统计的方法得到数据。但是,我们可以通过监测空气中二氧化碳等温室气体的含量,来反映工业用电量新增和铁路货运量,甚至可以直接利用温室气体的含量变化计算经济增长率。这就需要在不同的样本地点部署测量节点,由传感网络传递数据到处理中心,同时考虑其他数据的影响,综合历史数据,预算经济指标。
而测量节点需要总体规划,共用基础设施,可以同时测量和传输其他数据:风速、温度、降雨量、湿度、PM2.5、氧气含量,环流数据、地壳数据、森林覆盖率和动物数量、动物迁徙路径等数据。这些数据可能是数字,可能是文本、图片、音频、视频等。未来的部署模式类似现在的电信运营商,手机是节点,基站是小型处理中心。只不过数据源由人变成了大自然的状态、植物和动物。
这就是大自然的物联网。自然世界每天有大量信息产生,如果将这些信息数据化,通过云计算模式加工处理,可以帮助人们做出更好的决策、预测未知的事情。说不定,亚马孙河流域热带雨林中的蝴蝶飞行速度,和太阳表面温度息息相关。只不过人们尚未发现这种联系,已知晓的联系是乌云和下雨。
2 广泛的大数据源头——人类社会
香山衡器集团有这么一个梦想:在传统的体重秤和脂肪秤的基础上,用厨房秤自动识别食材种类(视觉搜索),记录重量;同时,通过便携式一体化的温度计、血氧仪、血压计、血糖仪、心率计等穿戴设备测量并记录身体显性健康数据,智慧地提供有关膳食结构、睡眠、心理和运动等健康解决方案。
想象一下,如果加上医院测量的隐性健康和诊断数据(扁桃体发炎、肝病、遗传病等),那么每个人完全可以拥有一个伴随一生的健康数据库,记录身体的各项指标。从最初的外界风寒或者食物的影响,到身体不适的参数变化,再到后来康复的过程,大量数据都会被记录下来。如果人群样本足够,运用大数据技术,可以分析出病理。那么,有人怀孕时,可穿戴设备能通过脉搏监测功能,提前预知并提醒,老中医的经验将被数据化;大数据处理中心能够提供健康解决方案,让人远离亚健康状态,更不用说生病了。
能够获取这些数据变得尤为重要,这是提供智慧的健康解决方案的基础。这些数据不仅有商业价值,还有社会价值和历史价值,后人将知道我们的膳食结构、生活习惯、身体指标等数据。
3大数据源头——意义非凡
然而,不仅厨房秤可以获得有关食材的数据, Google Glass
2.0或许也能识别并记录即将入口食物的数据。数据的源头是多源的,电影票房可以用电影院的座位传感器监测上座率,得到准确的数字。谷歌也能根据搜索量预测电影票房,准确率达94%。这就需要认识并挖掘大数据的价值,不能挖一口大数据源头的井,就把自己的数据井挖大,发现其中的价值。Linkedin发现雷曼兄弟的来访者忽然多了起来,就可以预见雷曼兄弟的倒闭。
在有形产品和无形产品(服务)的基础上,大数据源的价值将凸显。搜索引擎、媒体监测、点评、比价等互联网业务都是基于大量数据的,这些公司将分散凌乱的“小数据”集中起来,形成大数据,挖掘其中的价值。像Facebook、Twitter这类产品自身产生了大量数据,自然的占领了有关个人动态和社交的大数据源头,这些数据可以用作预测股市、选举结果、赛事比分等,这就是开放平台的作用,允许进行复杂的数据交互。无论是新浪微博开放平台,还是淘宝开放平台,数据是它们的核心竞争力。
这些掌握原始数据源头、分发数据的公司将炙手可热,一些自然界和人类社会尚未发现价值和挖掘的数据暗示着新的商业机会。整个大数据利用的阶段中,存储处理层是技术密集型的,但是,如果丧失了基础源头层,巧妇难为无米之炊。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
2025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-06-052025 年,数据如同数字时代的 DNA,编码着人类社会的未来图景,驱动着商业时代的运转。从全球互联网用户每天产生的2.5亿TB数据, ...
2025-05-27CDA数据分析师证书考试体系(更新于2025年05月22日)
2025-05-26解码数据基因:从数字敏感度到逻辑思维 每当看到超市货架上商品的排列变化,你是否会联想到背后的销售数据波动?三年前在零售行 ...
2025-05-23在本文中,我们将探讨 AI 为何能够加速数据分析、如何在每个步骤中实现数据分析自动化以及使用哪些工具。 数据分析中的AI是什么 ...
2025-05-20当数据遇见人生:我的第一个分析项目 记得三年前接手第一个数据分析项目时,我面对Excel里密密麻麻的销售数据手足无措。那些跳动 ...
2025-05-20在数字化运营的时代,企业每天都在产生海量数据:用户点击行为、商品销售记录、广告投放反馈…… 这些数据就像散落的拼图,而相 ...
2025-05-19在当今数字化营销时代,小红书作为国内领先的社交电商平台,其销售数据蕴含着巨大的商业价值。通过对小红书销售数据的深入分析, ...
2025-05-16Excel作为最常用的数据分析工具,有没有什么工具可以帮助我们快速地使用excel表格,只要轻松几步甚至输入几项指令就能搞定呢? ...
2025-05-15数据,如同无形的燃料,驱动着现代社会的运转。从全球互联网用户每天产生的2.5亿TB数据,到制造业的传感器、金融交易 ...
2025-05-15大数据是什么_数据分析师培训 其实,现在的大数据指的并不仅仅是海量数据,更准确而言是对大数据分析的方法。传统的数 ...
2025-05-14CDA持证人简介: 万木,CDA L1持证人,某电商中厂BI工程师 ,5年数据经验1年BI内训师,高级数据分析师,拥有丰富的行业经验。 ...
2025-05-13CDA持证人简介: 王明月 ,CDA 数据分析师二级持证人,2年数据产品工作经验,管理学博士在读。 学习入口:https://edu.cda.cn/g ...
2025-05-12CDA持证人简介: 杨贞玺 ,CDA一级持证人,郑州大学情报学硕士研究生,某上市公司数据分析师。 学习入口:https://edu.cda.cn/g ...
2025-05-09CDA持证人简介 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度、美团、阿里等 ...
2025-05-07相信很多做数据分析的小伙伴,都接到过一些高阶的数据分析需求,实现的过程需要用到一些数据获取,数据清洗转换,建模方法等,这 ...
2025-05-06以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/g ...
2025-04-30CDA持证人简介: 邱立峰 CDA 数据分析师二级持证人,数字化转型专家,数据治理专家,高级数据分析师,拥有丰富的行业经验。 ...
2025-04-29CDA持证人简介: 程靖 CDA会员大咖,畅销书《小白学产品》作者,13年顶级互联网公司产品经理相关经验,曾在百度,美团,阿里等 ...
2025-04-28CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-27