京公网安备 11010802034615号
经营许可证编号:京B2-20210330
pythonshujuqingxi/' style='color:#000;font-size:inherit;'>python数据清洗功能非常强大,相信很多进行数据处理工作的小伙伴都遇到过这种需求,比如已经有了各个销售员的销售业绩,现在需要给各个销售业绩进行一个分档,诸如未完成任务,完成任务,超额完成任务等。要完成分档需要先对销售业绩的数值进行判断,然后再根据判断的结果进行一个分类,那么大家都是怎样进行分类的呢?
实际上,上述需求是要对连续型的数值进行分箱操作,实现的方法有N种,但是效率有高有低,这里我们介绍两种效率比较高而且也容易理解的方法。
先来看一下这个函数都包含有哪些参数,主要参数的含义与作用都是什么?
pd.cut(
x,
bins,
right=True,
labels=None,
retbins=False,
precision=3,
include_lowest=False,
duplicates='raise',
)
x : 一维数组(对应前边例子中提到的销售业绩)
bins :整数,标量序列或者间隔索引,是进行分组的依据,
right :布尔值,默认为True表示包含最右侧的数值
labels : 数组或布尔值,可选.指定分箱的标签
retbins: 是否显示分箱的分界值。默认为False,当bins取整数时可以设置retbins=True以显示分界值,得到划分后的区间
precision:整数,默认3,存储和显示分箱标签的精度。
include_lowest:布尔值,表示区间的左边是开还是闭,默认为false,也就是不包含区间左边。
duplicates:如果分箱临界值不唯一,则引发ValueError或丢弃非唯一
ok,所有参数的含义与作用就是这些了,纯文字解释怎么都不如代码跑一遍来的直观,我们在代码中实现一下再结合上述文字解释就很容易理解了。而且并不是所有参数都是常用的,有些参数很少用到!
先来看一下数据源
df_f = pd.read_excel(r"D:\data\football\球队排名比分2019.xlsx") df_f
读入的数据是2019年英超各球队的积分:
bins取整数,即指定箱子个数
我们对积分数据进行分箱,先来最简单的:
pd.cut(df_f.积分,bins=3,labels=["低","中","高"]) #分成3箱并指定标签
分箱结果:
0 高 1 高 2 中 3 中 4 中 5 中 6 中 7 中 8 低 9 低 10 低 11 低 12 低 13 低 14 低 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (3, object): [低 < 中 < 高]
直接指定箱子个数,分成等宽的3份,感兴趣的同学可以求一下每个箱子内的极值,应该是约相等的。
前边有提到,这种分箱方式看不到分界值是多少,但是可以通过参数进行设置显示分界值:
pd.cut(df_f.积分,3,labels=["低","中","高"],retbins=True) #retbins=True显示分界值
分箱结果:
(0 高 1 高 2 中 3 中 4 中 5 中 6 中 7 中 8 低 9 低 10 低 11 低 12 低 13 低 14 低 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (3, object): [低 < 中 < 高], array([13.953 , 29.66666667, 45.33333333, 61. ]))
是不是能明显的看出和上一次代码结果相比多了一个 array([13.953 , 29.66666667, 45.33333333, 61. ]),这就是分箱的分界值啦,我们就能知道分箱的时候是以那个数值作为分界点进行分箱的了。
如果不指定每个箱子的标签是什么
pd.cut(df_f.积分,3,labels=False) #只显示数据位于第几个箱子里
分享结果:
0 2 1 2 2 1 3 1 4 1 5 1 6 1 7 1 8 0 9 0 10 0 11 0 12 0 13 0 14 0 15 0 16 0 17 0 18 0 19 0 Name: 积分, dtype: int64
只显示每个位置上的数值属于第几个箱子
**bins取标量序列 **
pd.cut(df_f.积分,[0,30,40,70],labels=["低","中","高"]) #默认right = True
指定分箱时候的分界点,即030,3040,40~70一共三个箱体,有默认的right = True,即分箱的时候,30包含在030的箱体中,40包含在3040的箱体中,70包含在40~70的箱体中,我们来看下结果,是不是和描述一致:
这里红框部分是要和下边更改参数right后的结果进行对比的,我们来看下:
pd.cut(df_f.积分,[0,30,40,70],labels=["低","中","高"],right=False)
分箱结果:
能够看到,right参数设置对分箱结果的影响。为什么会有这样的影响呢?我们回顾下我们的原数据:
能够发现分享发生变化的数值正好是我们分箱的临界值,可以通过参数进行设置临界值被划分到哪一边的箱体中。
如果需要将分箱的结果展示在原数据框中,直接赋值一列进去就可以了:
df_f.loc[:,"积分等级"]=pd.cut(df_f.积分,[0,30,40,70],labels=["低","中","高"],right=False) df_f
结果如下:
pd.qcut()也可以对数据进行分箱,那么和pd.cut()相比,pd.qcut()有什么不同呢?
试想一下如果我们有一个很大的数据集,需要对其中一项进行分箱,分箱的依据不是单纯的等宽箱体或者没有确定的分解值,而是按照分位数进行分箱,比如前四分之一的是一个箱体这种要求,用pd.cut()不是不能实现,只是比较麻烦,还要先计算分位数作为分解值。这个时候,pd.qcut()就方便很多了。
先看一下官方文档给出的函数作用:
基于分位数的离散化功能。 将变量离散化为基于等级或样本分位数的相等大小的存储桶。
再来看一下这个函数都包含有哪些参数,主要参数的含义与作用都是什么?
和pd.cut()相比,pd.qcut()的参数少了两个,少了right和include_lowest两个参数,剩下的参数几乎和pd.cut()一模一样了。
pd.qcut(x, q, labels=None, retbins=False, precision=3, duplicates=‘raise’)
x :一维数组或者Serise
q : 表示分位数的整数或者数组,
labels : 数组或者布尔值,默认为none,用于指定每个箱体的标签
rebines :布尔值,可选。 是否显示分箱的分界值。(由于是按照分位数进行分箱,在不知道分位数具体数值的情况下,可以通过这个参数设置显示分界值即分位数的具体数值)
precision:整数,默认3,存储和显示分箱标签的精度。
duplicates:如果分箱临界值不唯一,则引发ValueError或丢弃非唯一
pd.qcut()的参数就是这些了,并不是所有的参数都常用,下边我们通过代码示例来看一下常用参数的应用。
还是用原来的数据集
df_f = pd.read_excel(r"D:\data\football\球队排名比分2019.xlsx") df_f
参数q
参数q控制箱子的个数以及分界值,我们先来探索这个参数:
pd.qcut(df_f.积分,4,labels=["低","中","高","很高"])
q=4表示分成四个箱子,边界值分别为四分位数,四分之二分位数和四分之三分位数,并给每个箱子都指定了标签,看下结果:
0 很高 1 很高 2 很高 3 很高 4 很高 5 高 6 高 7 高 8 高 9 中 10 中 11 中 12 中 13 中 14 中 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (4, object): [低 < 中 < 高 < 很高]
再通过将q设置成数组看下分类结果是否一致:
pd.qcut(df_f.积分,[0,0.25,0.5,0.75,1],labels=["低","中","高","很高"])
直接设置成四分位数,四分之二分位数和四分之三分位数,看下结果:
0 很高 1 很高 2 很高 3 很高 4 很高 5 高 6 高 7 高 8 高 9 中 10 中 11 中 12 中 13 中 14 中 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (4, object): [低 < 中 < 高 < 很高]
结果是完全一致的。
温馨提示:不管是pd.cut()还是pd.qcut(),如果直接指定分箱的分界值,即bines和q的取值如果是数字,一定要把每一个箱体的上分界值和下分界值都写上,即每个箱体都是有上下限的,如果分四个箱子参数数组中比如有5个数值才可以。
参数lsbels
探索完q参数我们来看下labels参数,这个参数在介绍pd.cut()时没有具体探讨,其实在两个函数中,labels的作用是一致的,我们在此研究一下,上边例子中labels都指定了标签名字,如果不指定,会有怎样的结果呢?
pd.qcut(df_f.积分,4)
结果如下:
0 (32.5, 61.0] 1 (32.5, 61.0] 2 (32.5, 61.0] 3 (32.5, 61.0] 4 (32.5, 61.0] 5 (28.0, 32.5] 6 (28.0, 32.5] 7 (28.0, 32.5] 8 (28.0, 32.5] 9 (23.5, 28.0] 10 (23.5, 28.0] 11 (23.5, 28.0] 12 (23.5, 28.0] 13 (23.5, 28.0] 14 (23.5, 28.0] 15 (13.999, 23.5] 16 (13.999, 23.5] 17 (13.999, 23.5] 18 (13.999, 23.5] 19 (13.999, 23.5] Name: 积分, dtype: category Categories (4, interval[float64]): [(13.999, 23.5] < (23.5, 28.0] < (28.0, 32.5] < (32.5, 61.0]]
如果不指定labels,也就是说每个箱体都没有名字,那么只好把箱体展现出来,即显示每个箱体的两个临界值,至于要不要设置labels,视情况需求而定哦!
参数rebines
这个参数的作用是显示箱体的分界值:
pd.qcut(df_f.积分,4,labels=["低","中","高","很高"],retbins=True)
查看结果,和上边没有设置这个参数的结果做一下对比就可以发现该参数的作用了:
(0 很高 1 很高 2 很高 3 很高 4 很高 5 高 6 高 7 高 8 高 9 中 10 中 11 中 12 中 13 中 14 中 15 低 16 低 17 低 18 低 19 低 Name: 积分, dtype: category Categories (4, object): [低 < 中 < 高 < 很高], array([14. , 23.5, 28. , 32.5, 61. ]))
最后位置多了一个数组,数组内就是每个箱体的分界值了。
文章开头提到pd.qcut()比pd.cut()少两个参数,少的参数是控制分界值被分到哪个箱子的,按分位数分箱不能控制分界值被分到哪里,显示分界值后能够发现,每个箱体的数值是包含上分界值的。
再看一眼原数据:
其中28是一个第二个箱体的上限,即标签为“中”的箱体,而在分箱的时候,数值为28的球队都被分到了标签为“中”的箱体中,这个小细节可能很容易被忽视掉,这里做一下小提醒。
关于分箱的函数介绍到这里,大家能够区分并根据实际需求灵活运用pd.qcut()和pd.cut()了吗?
小伙伴们还有哪些疑问或者新发现欢迎一起讨论哦!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27