京公网安备 11010802034615号
经营许可证编号:京B2-20210330
聚类分析:大数据时代数据挖掘的关键突破口
什么是聚类分析?聚类分析有什么用?聚类算法有哪些?聚类分析的应用……这些问题的探究可为大数据时代数据分析或数据挖掘找到关键突破口!
人类文明已迈入大数据时代,得“数据”者得天下,但你"数据分析师"不能把海量数据一下推给用户,那是毫无价值的。"数据分析师"需要把通过对海量数据的挖掘、处理、分析,得出结果,然后给用户,这才是有价值的“数据”。
由此,数据处理技术必不可少,那么说到大数据分析中的应用,还得先说说聚类算法。数据挖掘常用的经典算法之一就是聚类法,是数据挖掘采用的起步技术,也是数据挖掘入门的一项关键技术。
一、什么是聚类分析?
聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程,其目的是在相似的基础上收集数据来分类。
聚类类似于分类,但与分类的目的不同,是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大,但不同类别之间数据的相似性很小,跨类的数据关联性很低。聚类与分类的不同还在于,聚类所要求划分的类是未知的。
二、聚类分析的重要性
“物以类聚,人以群分”,这是人类几千年来认识世界和社会的基本能力,是从大数据中发现价值必须面对的一个普遍性、基础性问题,是认知科学作为“学科的学科”要解决的首要问题。无论是政治、经济、文学、历史、社会、文化、还是数理、化工、医农、交通、地理、各行各业的大数据或宏观或微观的任何价值发现,无不借助于大数据聚类分析的结果,因此,数据分析和挖掘的首要问题是聚类,这种聚类是跨学科、跨领域、跨媒体的。大数据聚类是数据密集型科学的基础性、普遍性问题。
可以毫不夸张的讲,如果聚类算法都搞不明白,或者说没有“落地”的“实例”,那说在搞数据挖掘就纯粹是忽悠了。
人类的认知科学要想有所突破,首先就要在大数据聚类上去的突破,聚类是挖掘大数据资产价值的第一步。
三、聚类算法的种类
作为数据挖掘中很活跃的一个研究领域,聚类分析有多种算法。
基于划分聚类算法:
|
k-means: |
是一种典型的划分聚类算法,它用一个聚类的中心来代表一个簇,即在迭代过程中选择的聚点不一定是聚类中的一个点,该算法只能处理数值型数据 |
|
k-modes: |
K-Means算法的扩展,采用简单匹配方法来度量分类型数据的相似度 |
|
k-prototypes: |
结合了K-Means和K-Modes两种算法,能够处理混合型数据 |
|
k-medoids: |
在迭代过程中选择簇中的某点作为聚点,PAM是典型的k-medoids算法 |
|
CLARA: |
CLARA算法在PAM的基础上采用了抽样技术,能够处理大规模数据 |
|
CLARANS: |
CLARANS算法融合了PAM和CLARA两者的优点,是第一个用于空间数据库的聚类算法 |
|
Focused CLARAN: |
采用了空间索引技术提高了CLARANS算法的效率 |
|
PCM: |
模糊集合理论引入聚类分析中并提出了PCM模糊聚类算法 |
基于层次聚类算法:
|
CURE: |
采用抽样技术先对数据集D随机抽取样本,再采用分区技术对样本进行分区,然后对每个分区局部聚类,最后对局部聚类进行全局聚类 |
|
ROCK: |
也采用了随机抽样技术,该算法在计算两个对象的相似度时,同时考虑了周围对象的影响 |
|
CHEMALOEN(变色龙算法): |
首先由数据集构造成一个K-最近邻图Gk ,再通过一个图的划分算法将图Gk 划分成大量的子图,每个子图代表一个初始子簇,最后用一个凝聚的层次聚类算法反复合并子簇,找到真正的结果簇 |
|
SBAC: |
SBAC算法则在计算对象间相似度时,考虑了属性特征对于体现对象本质的重要程度,对于更能体现对象本质的属性赋予较高的权值 |
|
BIRCH: |
BIRCH算法利用树结构对数据集进行处理,叶结点存储一个聚类,用中心和半径表示,顺序处理每一个对象,并把它划分到距离最近的结点,该算法也可以作为其他聚类算法的预处理过程 |
|
BUBBLE: |
BUBBLE算法则把BIRCH算法的中心和半径概念推广到普通的距离空间 |
|
BUBBLE-FM: |
BUBBLE-FM算法通过减少距离的计算次数,提高了BUBBLE算法的效率 |
基于密度聚类算法:
|
DBSCAN: |
DBSCAN算法是一种典型的基于密度的聚类算法,该算法采用空间索引技术来搜索对象的邻域,引入了“核心对象”和“密度可达”等概念,从核心对象出发,把所有密度可达的对象组成一个簇 |
|
GDBSCAN: |
算法通过泛化DBSCAN算法中邻域的概念,以适应空间对象的特点 |
|
OPTICS: |
OPTICS算法结合了聚类的自动性和交互性,先生成聚类的次序,可以对不同的聚类设置不同的参数,来得到用户满意的结果 |
|
FDC: |
FDC算法通过构造k-d tree把整个数据空间划分成若干个矩形空间,当空间维数较少时可以大大提高DBSCAN的效率 |
基于网格的聚类算法:
|
STING: |
利用网格单元保存数据统计信息,从而实现多分辨率的聚类 |
|
WaveCluster: |
在聚类分析中引入了小波变换的原理,主要应用于信号处理领域。(备注:小波算法在信号处理,图形图像,加密解密等领域有重要应用,是一种比较高深和牛逼的东西) |
|
CLIQUE: |
是一种结合了网格和密度的聚类算法 |
基于神经网络的聚类算法:
|
自组织神经网络SOM: |
该方法的基本思想是--由外界输入不同的样本到人工的自组织映射网络中,一开始时,输入样本引起输出兴奋细胞的位置各不相同,但自组织后会形成一些细胞群,它们分别代表了输入样本,反映了输入样本的特征 |
基于统计学的聚类算法:
|
COBWeb: |
COBWeb是一个通用的概念聚类方法,它用分类树的形式表现层次聚类 |
|
AutoClass: |
是以概率混合模型为基础,利用属性的概率分布来描述聚类,该方法能够处理混合型的数据,但要求各属性相互独立 |
聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分类。聚类分析所使用方法的不同,常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析,所得到的聚类数未必一致。
四、聚类分析的应用
商业
聚类分析被用来发现不同的客户群,并且通过购买模式刻画不同的客户群的特征。聚类分析是细分市场的有效工具,同时也可用于研究消费者行为,寻找新的潜在市场、选择实验的市场,并作为多元分析的预处理。
电子商务
聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面,数据分析师通过分组聚类出具有相似浏览行为的客户,并分析客户的共同特征,可以更好的帮助电子商务的用户了解自己的客户,向客户提供更合适的服务。
大数据作为网络时代的一种客观存在,是网络时代人类社会的重要资产,数据数量巨大等给人们的认知造成了很大的困扰,尽管目前对于大数据的认知存在挑战,但数据分析师将会成为大数据认知的突破口,这是一个发展趋向。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中,“正态分布” 是许多统计方法(如 t 检验、方差分析、线性回归)的核心假设 —— 数据符合正态分布时,统计检验的 ...
2025-10-28箱线图(Box Plot)作为展示数据分布的核心统计图表,能直观呈现数据的中位数、四分位数、离散程度与异常值,是质量控制、实验分 ...
2025-10-28在 CDA(Certified Data Analyst)数据分析师的工作中,“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28在数据可视化领域,单一图表往往难以承载多维度信息 —— 力导向图擅长展现节点间的关联结构与空间分布,却无法直观呈现 “流量 ...
2025-10-27这个问题问到了 Tableau 中两个核心行级函数的经典组合,理解它能帮你快速实现 “相对位置占比” 的分析需求。“index ()/size ( ...
2025-10-27对 CDA(Certified Data Analyst)数据分析师而言,“假设检验” 绝非 “套用统计公式的机械操作”,而是 “将模糊的业务猜想转 ...
2025-10-27在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20