京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据。其数据规模往往达到了PB(1024TB)级。
按照不同的分类标准,大数据可以分为不同的类型,具体如下表所示:
| 划分类型 | 描述 |
| 从数据生成类型上分 | 可分为交易数据、交互数据和传感数据 |
| 从数据来源上分 | 可分为社交媒体、银行/购物网站、移动电话和平板电脑、各种传感器/物联网等等 |
| 从数据格式上分 | 可以分为文本日志、整型数据、图片、声音、视频等;还可从数据关系上区分为结构化数据(如交易流水账)和非结构化数据(如图、表,地图等) |
| 从数据所有者上分 | 可分为公司尤其巨型公司数据、政府数据、社会数据——网络数据 |
大数据分析有别于传统的BI分析,相对于传统的BI分析,大数据分析能力更强,数据规模更大,分析方式更为先进,具体如下图所示:
所谓大数据的生态系统,就是指数据的生存周期。数据从产生,到处理,再到价值提取,最后被消费掉,这整个过程就构成了大数据的生态系统。
从产业概念层面看,大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合,符合业界定义产业的通用原则,即产业是具有某种同类属性的企业经济活动的集合。
其一,从产业内涵理解,一个产业中企业的经济活动必须具备同类属性。大数据产业的共同属性是支撑大数据组织管理和价值发现。
其二,从产业外延理解,一个产业中企业的经济活动必须能够具体化。大数据产业相关企业经济活动包括:用以实现大数据存储、检索、处理、分析、展示的相关IT硬件与软件的生产、销售和租赁活动,以及相关信息服务。
可分为三个方面:(1)用以搭建大数据平台、实现大数据组织与管理、分析与发现的相关IT硬件与软件的生产、销售和租赁活动;(2)大数据平台的运维与管理服务,系统集成、数据安全、云存储等解决方案与相关咨询服务;(3)与大数据应用相关的数据租售业务、分析预测服务、决策支持服务、数据分享平台、数据分析平台等。
大数据产业链按照数据价值实现流程包括数据组织与管理层、数据分析与发现层、数据应用与服务层等三大层级,每一层都包含相应的IT技术设施、软件与信息服务。大数据产业链结构如下图所示:
2012年,中国大数据市场规模约为4.5亿元,前瞻产业研究院预计,未来几年大数据市场将呈现爆发式增长,以超过100%的年均复合增长率增长,2013年约为8亿元,到2016年,大数据将成为百亿级的市场。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22