京公网安备 11010802034615号
经营许可证编号:京B2-20210330
如何衡量大数据时代真正到来_数据分析师
互联网时代,新概念层出不穷,人们刚刚接受了大数据、物联网、云计算,更新的词汇已经迫不及待地涌现,比如小数据、条数据,以及本文所述的块数据。
块数据一词出自《块数据——大数据时代真正到来的标志》一书。这本书是根据贵阳市委书记陈刚提出的块数据概念及其理论,由大数据战略重点实验室组织课题组完成。所谓“块数据”,就是一个物理空间或者行政区域内形成的涉及人、事、物的各类数据的总和。“块数据”比“条数据”的“4V”即 Volume(大量)、Variety(多样)、Value(价值)、Velocity(高速)的特征更为明显。它如同一个计算机的主板,建立起了一个开放、共享、连接的数据基地,各个行业和部门的“条数据”就如同一个个可插拔的板卡,它们只有融合并集成到主板上,才能发挥数据资产真正的功效。块数据实践应用所形成的全产业链、全服务链和全治理链,将更大程度地驱动产业升级、服务改善民生、推进城市转型和倒逼政府改革。
例如,在社区,通过智慧社区建设,建立起社区居民、家庭和居委会的数据采集和社交网络平台,它能够采集居民、家庭、楼宇的基本数据,也能够汇集物业、民政、医疗、养老、公安、文化、教育等各个领域的数据,还能够聚合社区金融、超市、农产品供应等商务数据,就会形成一个共享、开放的社区块数据。
在城市中,通过铺设高速光纤宽带网络,搭建高速移动宽带基站,建设无缝衔接的wi-fi接入节点,将使得整个城市的网络“高速公路”更加畅通,数据将被更加快捷地传输和连接。这会有力地推动各类社会企业和个人数据集聚在一起。通过建设城市基础数据库、数据交换共享平台和跨部门协同应用,能够将人口、法人、地理信息、宏观经济等数据开放、共享并连接起来;通过公共数据平台和应用系统,逐步将各个部门的数据汇集起来,进一步整合城市网络平台上采集的企业和个人的行为数据,将逐步形成城市块。
然而,当今互联网产业发展的一个重要问题,就是商业模式不清晰,尚未找到恰当的盈利模式,以致行业中真正赚钱的并不多。因此,块数据理论,也不能绕过商业模式这一关。
《块数据——大数据时代真正到来的标志》作者团队对此似乎胸有成竹,认为其商业模式看起来潜力巨大。原因是,块数据将以往那些分散化、碎片化的行业数据、领域数据连接起来,就可以分析出个人的消费喜好、生活需求、收入水平等商业要素。特别是精确找准那些高度个性化、长尾化的市场需求,孕育产生出全新的商业模式。
首先,围绕数据分析本身,就能形成新的商业模式。大数据提供者和服务提供者通过这种商业模式服务于数据的采集、存储、标准化、计算和可视化。从数据量上来看,非机构化数据占总数据的85%以上,任何一个种类的非结构化数据处理技术都可能成为重要赢利点,如网络日志数据、流数据、语音数据、图像数据、视频数据、空间数据等的分析和处理,都会产生行业新的领军企业。比如华为即是基于IT基础设施领域在存储和计算的优势,提供整体大数据解决方案。
再者,通过颠覆或注入新元素的方法,再造传统商业模式。大数据新兴服务的提供者是基于数据思维的创新公司,应该善于挖掘传统行业的数据价值。这类商业模式的服务提供者有两种,一种是应用服务提供者,另一种是咨询服务提供者。前者是基于大数据技术,直接提供数据应用服务;后者提供服务支持、技术咨询,或者为企业提供类似数据科学家的咨询服务。
当然,最直接的商业模式,无非是可以直接买卖数据。也就是数据拥有者通过对数据进行加工分析,以报告、数据包等方式销售数据。
然而,块数据更大的价值,还在于其在社会领域应用前景广泛,并且能促进政府职能发生深刻转变。大数据时代,政府的服务内容和服务方式发生了质的变化,老百姓对政府的期待越来越高,从“能办事就好”到“简单利落地把事办好”再到“办不好给差评求退货”,民众正在通过网络享受到的衣食住行的各种优质体验迁移到政府服务领域。而政府,也正在借助这股技术和民众的力量,在整个政府运转中形成倒逼机制,推动各个职能部门更好地服务社会。
对于块数据理论和这本书,作者团队的态度坚定又谦逊。一方面,他们认为,“大数据对经济发展的推动已经超出了所有最伟大的预言家的预测,而《块数据——大数据时代真正到来的标志》一书把大数据对社会发展的推动描绘为一个史诗般的剧目,这出剧的序幕正准备拉开或者说刚刚拉开,拉开序幕的推手正是块数据。”另一方面也坦陈,“大数据是新生事物,不存在真正意义的专家”。
或许马云的评价更中肯一些:这本书对于块数据、条数据的认知,对于块数据之于未来经济和社会变革的影响分析,对于云计算领域的预判和布局,是极具前瞻性的,站在了时代的最前沿。科学技术的发展和进步是日新月异的,也许过不了多久,块数据理论就会过时。但是,技术人员的辛勤探索和创新精神,是最为可贵、永不过时的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-04【2025最新版】CDA考试教材:CDA教材一级:商业数据分析(2025)__商业数据分析_cda教材_考试教材 (cdaglobal.com) ...
2025-11-04在数字化时代,数据挖掘不再是实验室里的技术探索,而是驱动商业决策的核心能力 —— 它能从海量数据中挖掘出 “降低成本、提升 ...
2025-11-04在 DDPM(Denoising Diffusion Probabilistic Models)训练过程中,开发者最常困惑的问题莫过于:“我的模型 loss 降到多少才算 ...
2025-11-04在 CDA(Certified Data Analyst)数据分析师的工作中,“无监督样本分组” 是高频需求 —— 例如 “将用户按行为特征分为高价值 ...
2025-11-04当沃尔玛数据分析师首次发现 “啤酒与尿布” 的高频共现规律时,他们揭开了数据挖掘最迷人的面纱 —— 那些隐藏在消费行为背后 ...
2025-11-03这个问题精准切中了配对样本统计检验的核心差异点,理解二者区别是避免统计方法误用的关键。核心结论是:stats.ttest_rel(配对 ...
2025-11-03在 CDA(Certified Data Analyst)数据分析师的工作中,“高维数据的潜在规律挖掘” 是进阶需求 —— 例如用户行为包含 “浏览次 ...
2025-11-03在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中,“正态分布” 是许多统计方法(如 t 检验、方差分析、线性回归)的核心假设 —— 数据符合正态分布时,统计检验的 ...
2025-10-28箱线图(Box Plot)作为展示数据分布的核心统计图表,能直观呈现数据的中位数、四分位数、离散程度与异常值,是质量控制、实验分 ...
2025-10-28在 CDA(Certified Data Analyst)数据分析师的工作中,“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28