数据挖掘——文本挖掘

#构建语料库       
import codecs
filepaths = []  #构建一个空的‘文件路径’列表
filecontents = [] #构建一个空的‘文件内容’列表
for root, dirs, files in os.walk(‘.\SogouC.mini\Sample‘):
    for name in files:
         #拼接文件路径，得到所有子文件夹下的文件的文件路径的列表 filepaths，包含根目录、子目录和文件名
        filepath = os.path.join(root,name)   
        filepaths.append(filepath) #将所有子文件夹下的文件路径的列表合并到一个新的列表中
        #打开文件，‘r’表示只读，编码方式‘utf-8’
        f = codecs.open(filepath,‘r‘,‘utf-8‘)
        filecontent = f.read() #读取文件，并将内容传入到  ‘filecontent‘（文件内容）列表中
        f.close() #关闭文件
        filecontents.append(filecontent) #将所有子文件夹下的文件内容的列表合并到一个新的列表中
        
import pandas as pd
#根据得到的合并后的文件路径和文件内容，得到语料库的数据框
corpos = pd.DataFrame({
        ‘filePath‘:filepaths,
        ‘fileContent‘:filecontents})
corpos.to_csv(‘.\corpos.csv‘,sep=‘,‘,encoding=‘utf_8_sig‘,index=False)
###防止保存时出现乱码，需要参数encoding=‘utf_8_sig‘