##### 分词

import jieba

src = ‘cnews.train.txt‘
tgt = ‘train.txt‘

jieba.load_userdict(‘dic.txt‘)

def _cws(seq):
　　seq_list = jieba.cut(seq)
　　return ‘ ‘.join(seq_list)

ft = open(tgt,‘w‘,encoding=‘utf-8‘)
with open(src,‘r‘,encoding=‘utf-8‘) as fl:
　　for line in fl.readlines():
　　　　line = line.strip(‘\n‘).split(‘\t‘)
　　　　seq = _cws(line[1])
　　　　ft.write(seq+‘\n‘)

ft.close()

##### 训练词向量

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import logging
import os.path
import sys
import multiprocessing

from gensim.corpora import WikiCorpus
from gensim.models import Word2Vec, doc2vec
from gensim.models.word2vec import LineSentence

if __name__ == ‘__main__‘:
　　program = os.path.basename(sys.argv[0])
　　logger = logging.getLogger(program)

　　logging.basicConfig(format=‘%(asctime)s: %(levelname)s: %(message)s‘)
　　logging.root.setLevel(level=logging.INFO)
　　logger.info("running %s" % ‘ ‘.join(sys.argv))

　　inp = "baike_final.txt"

　　　outp2 = "word_vector.src"

　　model = Word2Vec(LineSentence(inp), size=100, window=5, min_count=1,workers=multiprocessing.cpu_count(), sg=1, iter=5, negative=20)

　　
　　model.wv.save_word2vec_format(outp2, binary=False)

import numpy as np
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import gensim
import matplotlib as mpl
import random

random.seed(0)
np.random.seed(0)

mpl.rcParams[‘font.sans-serif‘] = [‘FangSong‘]
mpl.rcParams[‘axes.unicode_minus‘] = False

def plot_with_labels(low_dim_embs, labels, filename,flag=None):
　　assert low_dim_embs.shape[0] >= len(labels), ‘More labels than embeddings‘
　　print(‘绘制词向量中......‘)
　　plt.figure(figsize=(10, 10)) # in inches

　　#length = np.linalg.norm(low_dim_embs, axis=1)    ###对词向量进行标准化
　　#low_dim_embs = low_dim_embs / length[:, np.newaxis]

　　for i, label in enumerate(labels):
　　　　x, y = low_dim_embs[i, :]

　　plt.scatter(x, y,color=flag[i]) 
　　plt.annotate(label, xy=(x, y),xytext=(5, 2),textcoords=‘offset points‘,ha=‘right‘,va=‘bottom‘)
　　plt.savefig(filename)
　　plt.show()

def load_txt_vec(file, threshold=0, dtype=‘float‘): 
　　print(‘读取词向量文件中......‘)
　　header = file.readline().split(‘ ‘)
　　count = int(header[0]) if threshold <= 0 else min(threshold, int(header[0]))
　　dim = int(header[1])
　　words = []
　　matrix = np.empty((count, dim), dtype=dtype)
　　for i in range(count):
　　　　word, vec = file.readline().split(‘ ‘, 1)
　　　　words.append(word)
　　　　matrix[i] = np.fromstring(vec, sep=‘ ‘, dtype=dtype)
　　return (words, matrix)

if __name__ == ‘__main__‘:
　　try:
　　　　w2v_txt_file = open(‘vec.txt‘, ‘r‘,encoding=‘utf-8‘, errors=‘surrogateescape‘) 
　　　　words, vectors = load_txt_vec(w2v_txt_file)
　
　　　　tsne = TSNE(perplexity=30, n_components=2, init=‘pca‘, n_iter=5000, m　　ethod=‘exact‘)
　　　　plot_only = 100 

　　　　low_dim_embs = tsne.fit_transform(vectors[:plot_only])
　　　　labels = [words[i] for i in range(plot_only)] 
　　　　colors = ["red", "blue", "yellow", "green", "black", "purple", "pink", "grey", "brown", "orange"]
　　　　plot_with_labels(low_dim_embs, labels, ‘1w2v.png‘, flag=sorted(colors* 10))

　　except ImportError as ex:
　　　　print(‘Please install gensim, sklearn, numpy, matplotlib, and scipy to show embeddings.‘)
　　　　print(ex)

在进行词表示的时候，取模是将词向量的长度进行归一化，取模之后进行显示，考虑的仅仅是词于词之间的语义关系。

import json
from sklearn.cluster import KMeans
from sklearn import metrics
import numpy as np
import random

random.seed(1)

src = ‘vec.json‘
tgt = ‘classification.json‘

labels = [‘0‘,‘1‘,‘2‘,‘3‘,‘4‘,‘5‘,‘6‘,‘7‘,‘8‘,‘9‘]
flag=sorted(labels * 10)

features = []
with open(src,‘r‘,encoding=‘utf-8‘) as fl:
　　for line in fl.readlines():
　　　　line = line.strip(‘\n‘)
　　　　line = json.loads(line)
　　　　for ss in line.items():
　　　　　　features.append(ss[1])

def fun(features):
　　temp = []
　　for ss in features:
　　　　cmp = []
　　　　for s in ss:
　　　　　　a = eval(s)
　　　　　　cmp.append(a)
　　　　temp.append(cmp)
　　return temp

score =[]
features = fun(features)
clf = KMeans(n_clusters=10,max_iter=10000,n_init = 10)

pred = clf.fit_predict(features)
with open(src,‘r‘,encoding=‘utf-8‘) as fl:
　　with open(tgt,‘w‘,encoding=‘utf-8‘) as ft:
　　　　fl = fl.readlines()
　　　　for i in range(10):
　　　　　　for e,flag in enumerate(pred):
　　　　　　　　tmp = []
　　　　　　　　if flag == i:
　　　　　　　　　　line = fl[e].strip(‘\n‘)
　　　　　　　　　　line = json.loads(line)
　　　　　　　　　　tmp.append(str(flag))
　　　　　　　　　　tmp.append(line)

　　　　　　　　　　json_data = json.dumps(tmp,ensure_ascii=False)
　　　　　　　　　　ft.write(json_data+‘\n‘)

import json

src = ‘classification.json‘
tgt = ‘tgt.json‘

cmp = [i for i in range(10)]

with open(src,‘r‘,encoding=‘utf-8‘) as fl:
　　with open(tgt,‘w‘,encoding=‘utf-8‘) as ft:
　　　　fl = fl.readlines()
　　　　dic ={}
　　　　for i in cmp:
　　　　　　temp = []
　　　　　　#print(i)
　　　　　　for e in range(len(fl)):
　　　　　　　　line = fl[e]
　　　　　　　　line = line.strip(‘\n‘)
　　　　　　　　line = json.loads(line)
　　　　　　　　if eval(line[0]) == i:
　　　　　　　　　　#temp.append(i)
　　　　　　　　　　for ss in line[1].items():
　　　　　　　　　　　　temp.append(ss[0])
　　　　　　dic[i] = temp
　　　　json_data = json.dumps(dic,ensure_ascii=False)
　　　　ft.write(json_data+‘\n‘)
print(dic)

src1 = ‘ss.txt‘
lb_dic = {}

with open(src1,‘r‘,encoding=‘utf-8‘) as fl:
　　for line in fl.readlines():

　　line = line.strip(‘\n‘).split(‘ ‘)
　　for i in range(1,len(line)):
　　　　lb_dic[line[i]]=line[0]

def _tp_judge(ss):
　　TP = 0
　　for i in range(len(ss)):
　　　　for j in range(i,len(ss)):

　　　　　　if lb_dic[ss[i]] == lb_dic[ss[j]]:
　　　　　　TP+=1
　　　return TP

tp_num = 0
for ww in dic.items():
　　ss = ww[1]
　　a = _tp_judge(ss)
　　tp_num+=a

def _fp_judge(ss):
　　FP = 0
　　for i in range(len(ss)):
　　　　for j in range(i,len(ss)):

　　　　　　if lb_dic[ss[i]] != lb_dic[ss[j]]:
　　　　　　　　FP+=1
　　print(FP)
　　return FP

fp_num = 0
for ww in dic.items():
　　ss = ww[1]
　　a = _fp_judge(ss)
　　fp_num+=a

cmp = [i for i in range(10)]

with open(src,‘r‘,encoding=‘utf-8‘) as fl:
　　fl = fl.readlines()
　　fn_dic ={}
　　for i in cmp:
　　　　temp = []
　　　　#print(i)
　　　　for e in range(len(fl)):
　　　　　　line = fl[e]
　　　　　　line = line.strip(‘\n‘)
　　　　　　line = json.loads(line)
　　　　　　if eval(line[0]) == i:
　　　　　　　　#temp.append(i)
　　　　　　　　for ss in line[1].items():
　　　　　　　　　　fn_dic[ss[0]]=i
print(fn_dic)

src1 = ‘ss.txt‘
fn_lb_dic = {}

with open(src1,‘r‘,encoding=‘utf-8‘) as fl:
　　for line in fl.readlines():
　　cmp = []
　　line = line.strip(‘\n‘).split(‘ ‘)
　　for i in range(1,len(line)):
　　　　cmp.append(line[i])
　　fn_lb_dic[line[0]]=cmp
print(fn_lb_dic)

def _fn_judge(ss):
　　FN = 0
　　for i in range(len(ss)):
　　　　for j in range(i,len(ss)):
　　　　　　if fn_dic[ss[i]] != fn_dic[ss[j]]:
　　　　　　　　FN+=1
　　print(FN)
　　return FN

fn_num = 0
for ww in fn_lb_dic.items():
　　ss = ww[1]
　　a = _fn_judge(ss)
　　fn_num+=a

num = (100*99)/2
print(num)
tn_num = num-(fn_num+fp_num+tp_num)

RI = (tn_num+tp_num)/num
print(RI)

def _judge_label(param):
    pass

## 返回一共多少个类别
count = 0
## dic是聚类之后生成的簇的字典，return final_
for ss in dic.items():
    _dic = {}
    #print(ss)
    cmp = ss[1]
    for ww in cmp:
        lb = lb_dic[ww]
        if lb not in _dic:
            _dic[lb] = 1
        else:
            _dic[lb] +=1
    _dic = sorted(_dic.items(),key = lambda item:item[1],reverse=True)
    print(_dic)
    #print(_dic[0][1])
    count += _dic[0][1]
print(count/100)