R语言dplyr包主要用于数据清洗和整理，主要功能有：行选择、列选择、统计汇总、窗口函数、数据框交集等是非常高效、友好的数据处理包，学清楚了，基本上数据能随意玩弄，对的，随意玩弄，简直大大提高数据处理及分析效率。我以为，该包是数据分析必学包之一。学习过程需要大量试验，领悟其中设计的精妙之处。

          作者：小伍哥

          来源：AI入门学习

#包安装与加载

install.packages("dplyr")

library(dplyr)

#调用mtcars数据&数据集介绍

data(mtcars)

str(mtcars)

本文案例使用数据集 mtcars 具体结构如下,直接加载即可共11个字段，32条数据，每个字段的含义如下:mpg-百公里油耗；cyl-气缸数；disp-排量；hp-马力；drat-轴距；wt-重量； qsec-百公里时间 ；vs-发动机类型

##############################################################

按行筛选: filter()

按给定的逻辑判断筛选出符合要求的子数据集, 类似于 subset() 函数

filter(mtcars, mpg>=22)

filter(mtcars, cyl == 4 | gear == 3)

filter(mtcars, cyl == 4 & gear == 3)

注意: 表示 AND 时要使用 & 而避免 &&

##############################################################

按列筛选：select 

select()用列名作参数来选择子数据集。dplyr包中提供了些特殊功能的函数与select函数结合使用，用于筛选变量，包括starts_with，ends_with，contains，matches，one_of，num_range和everything等。用于重命名时，select()只保留参数中给定的列，rename()保留所有的列，只对给定的列重新命名。原数据集行名称会被过滤掉。

data(iris)

iris = tbl_df(iris)  

#选取变量名前缀包含Petal的列  

select(iris, starts_with("Petal"))  

#选取变量名前缀不包含Petal的列  

select(iris, -starts_with("Petal"))  

#选取变量名后缀包含Width的列  

select(iris, ends_with("Width"))  

#选取变量名后缀不包含Width的列  

select(iris, -ends_with("Width"))  

#选取变量名中包含etal的列  

select(iris, contains("etal"))  

#选取变量名中不包含etal的列  

select(iris, -contains("etal"))  

#正则表达式匹配，返回变量名中包含t的列  

select(iris, matches(".t."))  

#正则表达式匹配，返回变量名中不包含t的列  

select(iris, -matches(".t."))  

#直接选取列  

select(iris, Petal.Length, Petal.Width)  

#返回除Petal.Length和Petal.Width之外的所有列  

select(iris, -Petal.Length, -Petal.Width)  

#使用冒号连接列名，选择多个列  

select(iris, Sepal.Length:Petal.Width)  

#选择字符向量中的列，select中不能直接使用字符向量筛选，需要使用one_of函数  

vars <- c("Petal.Length", "Petal.Width")  

select(iris, one_of(vars))  

#返回指定字符向量之外的列  

select(iris, -one_of(vars))  

#返回所有列，一般调整数据集中变量顺序时使用  

select(iris, everything())  

#调整列顺序，把Species列放到最前面  

select(iris, Species, everything())  

##############################################################

神奇变形函数：mutate（）transmute()

mutate()和transmute()函数对已有列进行数据运算并添加为新列，类似于transform() 函数，不同的是可以在同一语句中对刚增添加的列进行操作，mutate()返回的结果集会保留原有变量，transmute()只返回扩展的新变量，原数据集行名称会被过滤掉

1、mutate变量变形

1.1 单个变量操作：mutate可以对数据框中已有的变量进行操作或者增加变量，值得称赞的是，一段mutate的代码中，靠后的变量操作可以操作前期新添加或改变的变量，这是transform所不具备的特性。

1.1.1新增列

mtcars%>% mutate(cyl2 = cyl * 2,cyl4 = cyl2 * 2)

1.1.2删除列

mtcars %>% mutate(mpg = NULL,disp = disp * 0.0163871)

mtcars %>% mutate(cyl = NULL)

不需要的列不在了

1.1.3窗口函数应用

mtcars %>% group_by(cyl) %>% mutate(rank    = min_rank(desc(mpg)))

mtcars %>% group_by(cyl) %>% mutate(mpg_max = max(mpg))

原来的明细还保留，同时每个分组的统计值算出来了，是不是很方便

1.2 批量操作

同时若你嫌麻烦一个个地对变量进行操作，还可以使用mutate_each函数对数据框中的变量批量操作，通过调整funs（即functions）和vars（variables）参数控制functions的数量，以及参与变形的variables，这里控制variables的技巧与select函数相似。

#对每个变量进行排名

mtcars%>%mutate_each(funs(dense_rank)) 

 mpg cyl disp hp drat wt qsec vs am gear carb

1   16   2   13 11   16  9     6   1   2   2    4

2   16   2   13 11   16 12   10  1  2    2    4

3   19   1    6  6    15  7     22  2  2    2    1

4   17   2   16 11    5 16    24  2  1    1    1

5   13   3   23 15    6 18   10   1  1    1    2

#对disp的变量进行排名

mtcars%>%mutate_each(funs(dense_rank,min_rank),disp)

   mpg cyl  disp  hp drat    wt  qsec vs am gear carb dense_rank min_rank

1  21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4         13       13

2  21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4         13       13

3  22.8   4 108.0  93 3.85 2.320 18.61  1   1    4    1          6          6

4  21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1         16       18

5  18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2         23       27

6  18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1         15       17

7  14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4         23        27

#对除了disp的变量进行排名

mtcars%>%mutate_each(funs(dense_rank,min_rank),-disp)

2、transmute

返回值中不包含原数据集变量，只保留计算转换后的变量。

mtcars%>%mutate(wt_log=log(wt))

mtcars%>%transmute(wt_log=log(wt))

mtcars %>%mutate(displ_l = disp / 61.0237)

mtcars %>%transmute(displ_l = disp / 61.0237)

##############################################################

 排名函数 ：ranking

row_number   通用排名，并列的名次结果按先后顺序不一样，靠前出现的元素排名在前

min_rank       通用排名，并列的名次结果一样，占用下一名次。

dense_rank   中国式排名，并列排名不占用名次，如：无论有几个并列第2名，之后的排名仍应该是第3名

percent_rank 按百分比的排名

cume_dist    累计分布区间的排名

ntile              粗略地把向量按堆排名，n即是堆的数量

x = c(5, 1, 3, 2, 2, NA)

row_number(x)

min_rank(x)

dense_rank(x)

percent_rank(x)

cume_dist(x)

ntile(x, 2)

mtcars%>%mutate(dense_rank=cume_dist(cyl))

##############################################################

排序函数: arrange()  

注意，排序与排名的区别，结合rank函数理解

按给定的列名依次对行进行排序.

arrange(mtcars, mpg)

arrange(mtcars, mpg,disp)

对列名加 desc() 进行倒序 或者负数:

arrange(mtcars, desc(mpg))

arrange(mtcars, -mpg)

##############################################################

去重函数：distinct 

distinct()用于对输入的tbl进行去重，返回无重复的行，类似于 base::unique() 函数，但是处理速度更快。原数据集行名称会被过滤掉。

#

df <- data.frame(  x = sample(10, 100, rep = TRUE),  

                            y = sample(10, 100, rep = TRUE)  )  

#以全部两个变量去重，返回去重后的行数  

nrow(distinct(df))  

nrow(distinct(df, x, y))  

#以变量x去重，只返回去重后的x值  

distinct(df, x)  

#以变量y去重，只返回去重后的y值  

distinct(df, y)  

#以变量x去重，返回所有变量  

distinct(df, x, .keep_all = TRUE)  

#以变量y去重，返回所有变量  

distinct(df, y, .keep_all = TRUE)  

#对变量运算后的结果去重  

distinct(df, diff = abs(x - y))

##############################################################

汇总函数：summarise 

1、直接汇总

#返回数据框中变量disp的均值  

summarise(mtcars, mean(disp))  

#返回数据框中变量disp的标准差  

summarise(mtcars, sd(disp))  

#返回数据框中变量disp的最大值及最小值  

summarise(mtcars, max(disp), min(disp))  

#返回数据框mtcars的行数  

summarise(mtcars, n())  

#返回unique的gear数  

summarise(mtcars, n_distinct(gear))  

#返回disp的第一个值  

summarise(mtcars, first(disp))  

#返回disp的最后个值  

summarise(mtcars, last(disp))  

2、分组统计

# 按变量cyl分组，求disp的均值和个数

mtcars %>%group_by(cyl) %>%

summarise(mean = mean(disp), n = n())

# 按变量cyl, vs分组，求每个组的记录数

mtcars %>%

group_by(cyl, vs) %>%

summarise(cyl_n = n()) %>%

group_vars()

# 按变量cyl分组，求disp的均值和标准差

mtcars %>%

group_by(cyl) %>%

summarise(disp = mean(disp), sd = sd(disp))

##############################################################

数据匹配函数：join 系列

#数据框中经常需要将多个表进行连接操作, 如左连接、右连接、内连接等，dplyr包也提供了数据集的连接操作，

#类似于 base::merge() 函数。语法如下： 

#内连接，合并数据仅保留匹配的记录

inner_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) 

#左连接，向数据集x中加入匹配的数据集y记录

left_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)

#右连接，向数据集y中加入匹配的数据集x记录

right_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...) 

#全连接，合并数据保留所有记录，所有行

full_join(x,y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)

#返回能够与y表匹配的x表所有记录 

semi_join(x,y, by = NULL, copy = FALSE, ...)

#返回无法与y表匹配的x表的所有记录

anti_join(x, y, by = NULL, copy = FALSE, ...) 

df1 = data.frame(CustomerId=c(1:6), sex = c("f", "m", "f", "f", "m", "m"), Product=c(rep("Toaster",3), rep("Radio",3)))  

df2 = data.frame(CustomerId=c(2,4,6,7),sex = c( "m", "f", "m", "f"), State=c(rep("Alabama",3), rep("Ohio",1)))  

#内连接，默认使用"CustomerId"和"sex"连接  

inner_join(df1, df2)  

#左连接，默认使用"CustomerId"和"sex"连接  

left_join(df1, df2)  

#右连接，默认使用"CustomerId"和"sex"连接  

right_join(df1, df2)  

#全连接，默认使用"CustomerId"和"sex"连接  

full_join(df1, df2)  

#内连接，使用"CustomerId"连接，同名字段sex会自动添加后缀  

inner_join(df1, df2, by = c("CustomerId" = "CustomerId"))  

#以CustomerId连接，返回df1中与df2匹配的记录  

semi_join(df1, df2, by = c("CustomerId" = "CustomerId"))  

#以CustomerId和sex连接，返回df1中与df2不匹配的记录  

anti_join(df1, df2)  

##############################################################

集合操作函数: set

dplyr也提供了集合操作函数，实际上是对base包中的集合操作的重写，但是对数据框和其它表格形式的数据操作更加高效。语法如下：

#取两个集合的交集

intersect(x,y, ...)

#取两个集合的并集，并进行去重

union(x,y, ...)

#取两个集合的并集，不去重

union_all(x,y, ...)

#取两个集合的差集

setdiff(x,y, ...)

#判断两个集合是否相等

setequal(x, y, ...)

mtcars$model <- rownames(mtcars)  

first <- mtcars[1:20, ]  

second <- mtcars[10:32, ]  

#取两个集合的交集  

intersect(first, second)  

#取两个集合的并集，并去重  

union(first, second)  

#取两个集合的差集，返回first中存在但second中不存在的记录  

setdiff(first, second)  

#取两个集合的交集，返回second中存在但first中不存在的记录  

setdiff(second, first)  

#取两个集合的交集, 不去重  

union_all(first, second)  

#判断两个集合是否相等，返回TRUE  

setequal(mtcars, mtcars[32:1, ]) 

##############################################################

汇总函数：tally系列

tally是一个很方便的计数函数，其根据最初的调用而决定下一次调用n或者sum(n)。它还有其他的小伙伴比如count和n，都是计数家族的。

iris%>%group_by(Species)%>%tally

iris%>%group_by(Species)%>%tally

 

 

 ##############################################################

抽样函数：sample系列

此sample系列是对数据框进行随机抽样，只作用于数据框和dplyr自带的tbl等格式的数据。sample_n为按行数随机抽样，而sample_frac为按比例抽样；其weight参数可以设置抽样的权重而replace参数为有放回抽样。

sample_n(mtcars,2,replace=TRUE)

sample_n(mtcars,2,weight=mpg/mean(mpg))

sample_frac(mtcars,0.1)

sample_frac(mtcars,0.1,weight=1/mpg)

看了这篇文章之后，大家对R语言dplyr包是不是更加了解了呢，希望为大家学习R语言助一臂之力。

CDA学员免费下载查看报告全文：2026全球数智化人才指数报告【CDA数据科学研究院】.pdf