一、训练数据集

文本作为非结构化数据，在构造训练集的时候，很少会发给你完整的数据集，可能需要批量读取txt字符。

批量读取txt字符文件

如何导入？

如何用函数批量导入文本，并且能够留在R的环境之中?循环用read.table，怎么解决每个文本文件命名问题？

list函数能够有效的读入，并且存放非结构化数据。

1. reviewpath?<-?"F:/R语言/train2"??

2. completepath?<-?list.files(reviewpath,?pattern?=?"*.txt$",?full.names?=?TRUE)??

代码解读：reviewpath为文件夹的目录名字，completepath为读取文件夹中所有的文件，生成字符串（character）格式。

如何读取单文本内容？

前面文档导入，相当于是给每个文档定了位，现在需要读入单个文档内的文本信息。

文本文档读取的时候会出现很多问题，比如分隔符、制表符等，而出现乱码，需要逐行读取。

[plain]?view plain?copy?print

1. ######批量读入文本??

2. read.txt?<-?function(x)?{??

3. ??des?<-?readLines(x)???????????????????#每行读取??

4. ??return(paste(des,?collapse?=?""))?????#没有return则返回最后一个函数对象??

5. }??

6. review?<-?lapply(completepath,?read.txt)??

7. #如果程序警告，这里可能是部分文件最后一行没有换行导致，不用担心。??

代码解读：read.txt是一个简单的逐行读取的函数，readLines函数，是将一段文字分成以下的形式，需要粘贴起来；

[plain]?print?

1. [1]?""??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

2. [2]?"刚买的这款电脑，在自提点打开的，就发现键盘已经坏了，有个按键都快掉了，自提点不管，让去联系退换货部门，退换货部门说键盘坏了不管退换，让去惠普自己更换新键盘。"??

3. [3]?""??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

4. [4]?"在京东刚买的东西出现问题就要四处跑去修理，他们把责任推的一干二净，现在除非你出具惠普的质检报告，他们才给受理。"????????????????????????????????????????????????

5. [5]?""??????

return(paste)函数将每一行粘贴在一起，最后返回完整的文本内容；

lapply表示逐文本读取。

加入文档名字

读取了每个文档到list之中，怎么跟每个文档名字匹配在一起？

1. docname?<-?list.files(reviewpath,?pattern?=?"*.txt$")??

2. reviewdf?<-?as.data.frame(cbind(docname,?unlist(review)),???

3. ??????????????????????????stringsAsFactors?=?F)???

4. colnames(reviewdf)?<-?c("id",?"msg")???#列名??

代码解读：list.files中，full.names=F代表返回文档名字（默认），full.names=T则定位文档；

利用as.data.frame成为一个数据框，并且不变成因子型，stringsAsFactors是因为文档名字列，很容易变成字符因子型，需要关闭这功能；

colnames修改列名，还有names也可以达到同样的效果。

图 1

`read.csv`函数读取文件时，可能报警：“EOF within quoted string”，一般为数据中不正常的符号所致，常见的方法是将`quote = ""`设置为空，这样做虽然避免了警告，但是仍然解决不了问题，有时数据会对不上号，所以最好从符号上着手将一些特殊符号去除。

本文中导入的数据集是清华大学李军标注的近24000个酒店评论文本和谭松波整理的12000个来自京东、携程、当当网的跨行业评论文本。并给出了每个文本数据的评分。李军老师的数据是众多的txt文件的评论文本+用rlabelclass文件来存放文本标签，可以用read.table来调用。中科院自动化所的中英文新闻语料库?http://www.datatang.com/data/13484
中文新闻分类语料库从凤凰、新浪、网易、腾讯等版面搜集。英语新闻分类语料库为Reuters-21578的ModApte版本。

1. train<-?read.csv("./train.csv",quote?=?"",sep?=?"\"",?header?=?T,?stringsAsFactors?=?F)??

2. #没有quote，会出现Warning?message:EOF?within?quoted?string??

3. #读入csv格式的时候，出现所有字符变成双引号，需要sep?=?"\""，来划分开,字符串分隔符的问题？??

会出现的问题：

（1）EOF?within?quoted?string

解决方法：quote=""；

（2）CSV格式被读入R内存中时，所有字符、变量内容都被加了双引号？

【免责声明】本站内容转载自互联网，其相关言论仅代表作者个人观点绝非权威，不代表本站立场。如您发现内容存在版权问题，请提交相关链接至邮箱：bqsm@foxmail.com，我们将及时予以处理。