京公网安备 11010802034615号
经营许可证编号:京B2-20210330
R内存管理与垃圾清理
1.内存查看
memory.limit():查看内存大小
memory.limit(n):申请内存大小
memory.size(NA):查看内存大小
memory.size(T):查看已分配的内存
memory.size(F):查看已使用的内存
2.内存申请
在Windows开始菜单运行:
Rgui -max-mem-size 8GB
与在R GUI中执行:
memory.limit(8000)
都能申请8GB使用内存
3.垃圾清除
rm(x):从workplace中删除变量/文件x
gc():清除内存垃圾
rm(list=ls()):清除workplace中所有变量
4.提升R的性能和突破内存限制的技巧
4.1性能提升的方法
4.1.1 系统升级
升级硬件
使用64位操作系统
利用GPU
租用云计算服务器
4.1.2 开发层面的优化
算法降低算法复杂度
调用C/C++或者Fortran关键的、耗时的计算步骤
缓冲技术减少重复计算
4.1.3 使用层面的优化
充分利用R的内存机制——R的基础优化
增强R的矩阵运算——加速BLAS
并行计算
大规模数据的处理——图片内存限制
使用Revolution R Enterprise(RRE)
4.2 充分利用R的内部机制优化性能
4.2.1向量化
向量化的代码,不要用循环!
利用矩阵运算
利用内置的向量化函数,比如exp、sin、rowMeans、rowSums、colSums、ifelse等
利用Vectorize函数将非向量化的函数改装为向量化的函数
*apply函数族:apply、lapply、sapply、tapply、mapply等
plyr和dplyr包Rstudio发布的data wrangling cheat sheet
##利用矩阵运算
n <- 100000
x1 <- 1:n
x2 <- 1:n
y <- vector()
system.time(
for(i in 1:n){y[i] <- x1[i] + x2[i]}
)
system.time(y <- x1 + x2)
## 利用向量化运算
## 内置的向量化函数
v <- 1:100000
result <- rep(1:100000)
system.time(
for(i in 1:100000){result[i] <- sin(v[i])}
)
system.time(result <- sin(v))
## 利用rowMeans、rowSums、colSums、colMeans等函数对矩阵或数据库做整体处理
colSums(iris[,1:4])
利用R内置的向量化函数,自定义向量化函数,只要在函数定义时每个运算是向量化的。但是在函数定义时用了逻辑判断语句,就会破坏的向量化特征。
func <- function(x){
if(x %% 2 == 0){
ret <- TRUE
}else{
ret <- FALSE}
return(ret)
}
func(34)
func(c(1,2,3,4))
## Warning message:
## In if (x%%2 == 0) { :
## the condition has length > 1 and only the first element will be used
## 在函数的定义中有if语句,不能接受向量作为判断的条件,否则判断第一个元素。
## 利用ifelse函数做向量化的判断
myfunc <- function(x){
ifelse(x %% 2 == 0,TRUE,FALSE)
}
myfunc(c(1,2,3,4))
##利用Vectorize函数将非向量化的函数改装为向量化的函数
funcv <- Vectorize(func)
funcv(c(1,2,3,4))
##利用sapply函数向量化运算
sapply(c(1,2,3,4),func)
4.2.2预先给对象分配内存
R为解释性语言,也是动态语言,如果不事先指定对象的类型和长度,在运算过程会动态分配内存,提高灵活性,但降低了效率。
尽量减少cbind、rbind的使用
## 求出10000个斐波那契数
x <- c(1,1)
i <- 2
system.time(
while(i<10000){
new <- x[i] + x[i-1]
x <- cbind(x,new)
i <- i + 1
}
)
## 指定类型和长度
x <- vector(mode="numeric",100000)
x[1] <- 1
x[2] <- 1
system.time(
while(i<10000){
i <- i + 1
x[i] <- x[i-1] + x[i-2]
}
)
4.2.3避免内存拷贝
假设我们有许多彼此不相关的向量,但因为一些其他的原因,我们希望将每个向量的第三个元素设为8,既然它们是互不相关的,甚至可能具有不同的长度,我们也许会考虑将它们放在一个列表中:
m <- 5000
n <- 1000
z <- list()
for(i in 1:m) z[[i]] <- sample(1:10, n, replace = T)
system.time(for(i in 1:m) z[[i]][3] <- 8)
## 把这些向量一起放到矩阵中
z <- matrix(sample(1:10, m * n, replace = T),nrow = m)
system.time(z[,3] <- 8)
4.2.4删除临时对象和不再用的对象
rm()删除对象
rm(object)删除指定对象,rm(list = ls())可以删除内存中的所有对象
gc()内存垃圾回收
使用rm(object)删除变量,要使用gc()做垃圾回收,否则内存是不会自动释放的。invisible(gc())不显示垃圾回收的结果
4.2.5分析内存的函数
ls()列出特定环境中的对象
object.size()返回R对象的大小(近似的)
memory.profile()分析cons单元的使用情况
memory.size()监测全部内存的使用情况(仅Windows下可用)
memory.size(max=T)返回历史占用过的最大内存;memory.size(max=F)返回目前占用的内存。未做垃圾清理时,已使用内存和已分配内存同步增加,但在垃圾清理后rm(list=ls());gc(),已使用内存会减少,而已分配给R的内存不会改变。
memory.limit()系统可分配的内存上限(仅Windows下可用)
memory.limit(newLimit)更改到一个新的上限。 注意,在32位的R中,封顶上限为4G,你无法在一个程序上使用超过4G (数位上限)。这种时候,可以考虑使用64位的版本。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. IF:基础条件判断(最常用) 作用:根据指定条件的真(TRUE)或假(FALSE),返回两种不同 ...
2026-10-30“不限专业可以考的证书”这个搜索词背后,通常藏着一个很实际的担心:专业不对口,想考个证拓宽出路,但怕报了名才发现有专业限 ...
2026-10-30先回答:能考的多是技能实操类证书 40岁、初中学历,能报的证书主要集中在四类:职业技能等级证书、专项职业能力证书、特种作业 ...
2026-10-3030岁考什么证好找工作,没有一张“通用答案”。同样的证书,对有行业经验的人和准备跨行的人,价值完全不同。更实际的思路是:先 ...
2026-10-30“专业职业技术资格证书”并不是一个正式名称,而是把好几种证书混在一起的口语说法。有人用它指会计、经济这类职称考试,有人指 ...
2026-10-30大学生能考的证书,大致分四类:通用基础类、职业资格类、专业技术资格类、岗位技能与行业认证类。真正要解决的问题不是“还有哪 ...
2026-10-30“需要考哪些证书”这个问题,没有统一答案。因为“需要”至少分三种:有的证书是入职准入,没有它连岗位门槛都进不去;有的证书 ...
2026-10-30“现在什么证含金量高好考一些”,这个问题里其实藏着两个容易打架的条件。含金量高的证书,往往有报考门槛、考试周期长;好考的 ...
2026-10-30“现在考什么证最吃香”,这个问题本身藏着一个容易踩的坑:不同人说“吃香”,指的往往不是同一件事。有人指考的人多、话题热; ...
2026-10-30文凭低,不等于没证可考,但选择空间确实窄一些。学历门槛明确的准入类资格,比如部分教师资格、法律职业资格、执业医师等,通常 ...
2026-10-30土建专业的大学生问“考什么证”,最容易踩的坑是把注册类证书当成在校目标。注册建造师、注册造价工程师、注册结构工程师、监理 ...
2026-10-30中年男人考证书,最怕两件事:一是年龄、学历卡在报名门槛外,白准备半年;二是考完发现岗位用不上,钱和时间都打了水漂。所以顺 ...
2026-10-30大专学历能考的证书不少,但真正值得投入时间的,是先确认“能不能报”,再看“考了对应什么岗位”。很多证书的报考条件里写着本 ...
2026-10-30“十大建议考的证书”这个问题,很难有一份对所有人都成立的名单。同一张证书,对会计专业大三学生、想转行做数据分析的运营、以 ...
2026-10-30“什么证书有用含金量高”这个问题,很难用一张榜单回答。同一本证书,对想进医院的人可能是硬门槛,对做运营的人却用不上;对已 ...
2026-10-30在职成年人问“考什么证书有用”,先要弄清自己需要哪一种“有用”。同一张证书,对想进入准入行业的人、想在本岗晋升的人、想转 ...
2026-10-30“女生能考的证书”真正要先回答的是“你现在的条件能报什么”。学历、专业、工作年限、是否在校、所在地区政策,直接决定你能不 ...
2026-10-30“女孩考什么证书比较好”这句话里,“比较好”其实藏着三种完全不同的标准:好考,看的是报考门槛低、备考周期短;好就业,看的 ...
2026-10-30先给结论:市场岗位没有一张通吃的证书。品牌传播、数字营销与投放、用户增长、用户研究、营销数据分析,这五条路径对应的工作任 ...
2026-10-30经济学专业考什么证书,没有统一答案。经济学毕业后去向很散:有人进银行、证券、基金,有人做财务审计,有人转数据分析与经营分 ...
2026-10-30