[plain]view plaincopyprint?

######批量读入文本 

read.txt <- function(x) {   des <- readLines(x)                   #每行读取 

return(paste(des, collapse = ""))     #没有return则返回最后一个函数对象 

} 

review <- lapply(completepath, read.txt) 

#如果程序警告，这里可能是部分文件最后一行没有换行导致，不用担心。  

[plain]view plaincopyprint?

[1] ""                                                                                                                                                             

[2] "刚买的这款电脑，在自提点打开的，就发现键盘已经坏了，有个按键都快掉了，自提点不管，让去联系退换货部门，退换货部门说键盘坏了不管退换，让去惠普自己更换新键盘。" 

[3] ""                                                                                                                                                             

[4] "在京东刚买的东西出现问题就要四处跑去修理，他们把责任推的一干二净，现在除非你出具惠普的质检报告，他们才给受理。"                                               

[5] ""     

return(paste)函数将每一行粘贴在一起，最后返回完整的文本内容；

[plain]view plaincopyprint?

docname <- list.files(reviewpath, pattern = "*.txt$") 

reviewdf <- as.data.frame(cbind(docname, unlist(review)),   

                          stringsAsFactors = F)  

colnames(reviewdf) <- c("id", "msg")   #列名  

[plain]view plaincopyprint?

reviewdf$msg <- gsub(pattern = " ", replacement ="", reviewdf$msg)  #gsub是字符替换函数，去空格 

reviewdf$msg <- gsub("\t", "", reviewdf$msg) #有时需要使用\\\t   

reviewdf$msg <- gsub(",", "，", reviewdf$msg)#文中有英文逗号会报错，所以用大写的“，” 

reviewdf$msg <- gsub("~|'", "", reviewdf$msg)#替换了波浪号（~）和英文单引号（'），它们之间用“|”符号隔开，表示或的关系 

reviewdf$msg <- gsub("\\\"", "", reviewdf$msg)#替换所有的英文双引号（"），因为双引号在R中有特殊含义，所以要使用三个斜杠（\\\）转义  

[plain]view plaincopyprint?

sentence <- as.vector(test$msg) #文本内容转化为向量sentence 

sentence <- gsub("[[:digit:]]*", "", sentence) #清除数字[a-zA-Z] 

sentence <- gsub("[a-zA-Z]", "", sentence)   #清除英文字符 

sentence <- gsub("\\.", "", sentence)      #清除全英文的dot符号 

sentence <- sentence[!is.na(sentence)]   #清除对应sentence里面的空值（文本内容），要先执行文本名 

sentence <- sentence[!nchar(sentence) < 2] #`nchar`函数对字符计数，英文叹号为R语言里的“非”函数  

[plain]view plaincopyprint?

stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) 

stopword <- stopword[!stopword$term %in% posneg$term,]#函数`%in%`在posneg$term中查找stopword的元素，如果查到了就返回真值，没查到就返回假 

#结果是一个和stopword等长的波尔值向量，“非”函数将布尔值反向 

testterm <- testterm[!testterm$term %in% stopword,]#去除停用词  

[plain]view plaincopyprint?

stopword <- read.csv("F:/R语言/R语言与文本挖掘/情感分析/数据/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) 

stopword <- setdiff(stopword$term,posneg$term) 

testterm<- setdiff(testterm$term,stopword)  

[plain]view plaincopyprint?

#plyr包里的`join`函数会根据名称相同的列进行匹配关联，`join`默认设置下执行左连接 

reviewdf <- join(表1,表2) 

reviewdf <- 表1[!is.na(表1$label),]  #非NA值的行赋值  

[plain]view plaincopyprint?

> head(temp)  

       term           df      阿波罗 0.0000573263 

2 阿尔卑斯山 0.0000573263 

3     阿富汗 0.0001719789 

4       阿哥 0.0001146526 

5     阿根廷 0.0000573263 

6     阿拉伯 0.0001146526 

> head(traintfidf[,1:3])  

       id label       term 

1  4995.txt     1     阿波罗 

2 16443.txt     1 阿尔卑斯山 

3 12897.txt     1     阿富汗 

4  7001.txt     1     阿富汗 

5  9427.txt     1     阿富汗 

6 12368.txt     1       阿哥  

[plain]view plaincopyprint?

> head(traintfidf[,1:5])    

  id label       term tf           df  

  4995.txt     1     阿波罗  1 0.0000573263   16443.txt     1 阿尔卑斯山  1 0.0000573263 

12897.txt     1     阿富汗  2 0.0001719789  

7001.txt     1     阿富汗  1 0.0001719789 

9427.txt     1     阿富汗  1 0.0001719789 

12368.txt     1       阿哥  1 0.0001146526 

[plain]view plaincopyprint?

system.time(x <- segmentCN(strwords = sentence))  

#每次可能耗费时间较长的过程，都要使用少量数据预估一下时间，这是一个优秀的习惯 

temp <- lapply(x, length) #每一个元素的长度,即文本分出多少个词 

temp <- unlist(temp)  #lapply返回的是一个list，所以3行unlist 

id <- rep(test[, "id"], temp) #将每一个对应的id复制相应的次数，就可以和词汇对应了 

label <- rep(test[, "label"], temp)#id对应的情感倾向标签复制相同的次数 

term <- unlist(x) #6行将list解散为向量 

testterm <- as.data.frame(cbind(id, term, label), stringsAsFactors = F) 

#将一一对应的三个向量按列捆绑为数据框，分词整理就基本结束了  

[plain]view plaincopyprint?

library(plyr)  testterm <- join(testterm, posneg) 

testterm <- testterm[!is.na(testterm$weight), ] 

head(testterm)  

[plain]view plaincopyprint?

dictresult <- aggregate(weight ~ id, data = testterm, sum)  

[plain]view plaincopyprint?

dictlabel <- rep(-1, length(dictresult[, 1])) 

dictlabel[dictresult$weight > 0] <- 1 

dictresult <- as.data.frame(cbind(dictresult, dictlabel), stringsAsFactors = F)