TF-IDF原理以及sklearn实现和测试

 1 # 从txt生成的excel文件，一定要另存为csv文件，然后再用read_csv读取，不然会遇到一些格式的问题
 2 import pandas as pd
 3 import numpy as np
 4 f = open(‘neg_fenci_excel_to_csv.csv‘)
 5 neg_pd = pd.read_csv(f)
 6 f.close()
 7 
 8 f = open(‘pos_fenci_excel_to_csv.csv‘)
 9 pos_pd = pd.read_csv(f)
10 f.close()
11 
12 # 连接neg_pd和pos_pd
13 neg_pos_pd = pd.concat([neg_pd, pos_pd], axis=0)
14 neg_pos_pd.to_csv(‘neg_pos.csv‘)
15 
16 # 划分训练集、测试集，比例为70%、30%
17 from sklearn.model_selection import train_test_split
18 x_train, x_test, y_train, y_test = train_test_split(neg_pos_pd[‘review‘], neg_pos_pd[‘label‘], test_size = 0.3)
19 
20 from sklearn.feature_extraction.text import CountVectorizer
21 from sklearn.feature_extraction.text import TfidfVectorizer
22 from sklearn.feature_extraction.text import TfidfTransformer
23 # fit_transform相当于先fit,再transform
24 # fit入参为训练数据集（文档集合），得到词典
25 # transform 入参为文档集合，通过fit得到的词典，得到词频矩阵
26 
27 #构建词频矩阵
28 countVec = CountVectorizer()
29 countVec_bow = countVec.fit_transform(x_train)
30 # countVec 中有一些关于词典的属性
31 print(‘countVec_bow get_feature_names len:{}‘.format(len(countVec.get_feature_names())))
32 print(‘countVec_bow vocabulary_:\n{}‘.format(countVec.vocabulary_))
33 print(‘countVec_bow get_feature_names :{}‘.format(countVec.get_feature_names()))
34 # 构建词频矩阵，转成矩阵形式
35 # 矩阵元素a[i][j] 表示j词在第i个文本下的词频
36 print(‘countVec_bow array:\n{}‘.format(countVec_bow.toarray()))
37 
38 # 两种得到词频-逆文档频率矩阵的方法
39 # 经过词频矩阵得到词频-逆文档频率矩阵
40 tfidf_test = TfidfTransformer()
41 tfidf_test_bow = tfidf_test.fit_transform(countVec_bow)
42 print(‘tfidf_test_bow array:\n{}‘.format(tfidf_test_bow))
43 # 通过原始文档，直接得到词频-逆文档频率矩阵
44 tfidf = TfidfVectorizer()
45 tfidf_bow = tfidf.fit_transform(x_train)
46 print(‘tfidf_bow array:\n{}‘.format(tfidf_bow))
47 
48 import sklearn.model_selection as modsel
49 from sklearn.linear_model import LogisticRegression
50 # 搜索网格的范围（网格搜索：一种基本的超参数调优过程）
51 param_grid = {‘C‘ : [1e-5, 1e-3, 1e-1, 1e0, 1e1, 1e2]}
52 # 采用10折交叉验证
53 tfidf_search = modsel.GridSearchCV(LogisticRegression(), cv=10, param_grid=param_grid)
54 tfidf_search.fit(tfidf_bow, y_train)
55 print(‘result:\n{}‘.format(tfidf_search.cv_results_))
56 # 通过cv_results_中的结果，选择正则化参数为1e0
57 result_model = LogisticRegression(C=1e0).fit(tfidf_bow, y_train)
58 tfidf_x_test = tfidf.transform(x_test)
59 score = result_model.score(tfidf_x_test, y_test)
60 print(‘score:{}‘.format(score))
61 
62 def model_test(model, strList):
63     strList_to_tfidf = tfidf.transform(strList)
64     print(‘strList_to_tfidf:{}‘.format(strList_to_tfidf.toarray().shape))
65     probaList = model.predict_proba(strList_to_tfidf)
66     print(‘probaList:\n{}‘.format(probaList))
67 # 6条测试用例，已知前3条为负例，后3条为正例
68 testList = [‘商品 划花 忍受 京东 配送 实在 气愤‘,
69            ‘驱动 系统 安装 光盘 带来 不便 最让人 感到 气愤 硬盘 分区 厂家 做法 未免太 懒惰 太 不负责任‘,
70             ‘操作系统 裸机 分成 盘 重装 acer 光盘 重装 专用 软件 网站 找到 美中不足‘,
71             ‘优点   外观 够 型 配置 不错 价格合理 非常适合 商务     光驱 声音 真的 很大 底部 发热量 很大     特价 4999 价格 购买 超值 值得‘,
72             ‘商品 值得一提 性价比 hp 品牌 P8600 CPU 足够 升级 太 便宜 做工 价位 不错 IBM   T23 X41 距离 价位 整体 不错 京东 服务 不错 网上 快递 进程 客户 有谱‘,
73             ‘几天 终于 拿到 配置 品牌 令人满意 商务 选择‘]
74 
75 model_test(result_model, testList)