知识点 1、wiki词库处理 繁体字转为简体字 2、对简体语料库进行jieba分词 3、word2vec建模 4、加载模型，预测 ...
分类：
其他好文 时间：
2019-06-11 12:42:31
阅读次数：
103
猪哥最早接触Python语言就是从爬虫开始的，因为当时公司需要开发一个这样的功能：解析用户收到的购票短信，然后分析短信提取有效信息，最后建立闹钟提醒用户。举个例子：小明买了两张晚上12点的电影票打算和女朋友一起去看电影。在收到购票短信后，我们会使用nlp分词分类，然后再匹配之前爬取到的近期所有上映电 ...
分类：
其他好文 时间：
2019-06-10 09:18:39
阅读次数：
103
1 #define _for(i,a,b) for(int i = (a);i findOcurrences(string text, string first, string second) 7 { 8 vector rnt; 9 vector li; 10 string tmp; 11 ... ...
分类：
其他好文 时间：
2019-06-09 12:46:05
阅读次数：
70
词频统计 参考： 对参考的代码进行了一些补充和修改，大体思路没变 并不是想说这题多难，只是在这题可以用STL的很多结构帮助解题，所以能让代码变得很简单 题目 7 1 词频统计 (30 分) 请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。 所谓“单词”，是指由不 ...
分类：
其他好文 时间：
2019-06-08 23:04:29
阅读次数：
725
"id":1, "title":"Elasticsearch是一个基于Lucene的搜索服务器", "content":"它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的 ...
分类：
其他好文 时间：
2019-06-05 21:52:32
阅读次数：
137
文本数据的特征提取,中文分词及词袋模型 1.使用CountVectorizer对文本进行特征提取 2.使用分词工具对中文文本进行分词 3.使用词袋模型将文本数据转为数组 对文本数据进一步优化处理 1.使用n-Gram改善词袋模型 在调整了CountVectorizer的ngram_range参数之后 ...
分类：
编程语言 时间：
2019-06-04 13:25:42
阅读次数：
98
本文内容主要参考GitHub：https://github.com/isnowfy/snownlp what's the SnowNLP SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是 ...
分类：
编程语言 时间：
2019-05-31 10:22:14
阅读次数：
343
也算是给自己立个flag，看自己是什么时候能够吧数学之美能够读完，同时保证在读的过程当中有记录。 第一版读者赞誉 第二版出版说明 第一版序言 第二版序言 第二版前言 第1章 文字和语言 vs 数字和信息 第2章 自然语言处理——从规则到统计 第3章 统计语言模型 第4章 谈谈分词 第5章 隐含马尔可 ...
分类：
其他好文 时间：
2019-05-29 16:20:48
阅读次数：
112
jieba简介 python在数据挖掘领域的使用越来越广泛。想要使用python做文本分析，分词是必不可少的一个环节在python的第三方包里，jieba应该算得上是分词领域的佼佼者。 GitHub地址：https://github.com/fxsjy/jieba 安装方法 主要算法 基于前缀词典实 ...
分类：
编程语言 时间：
2019-05-28 14:11:28
阅读次数：
457
单行word count Scala中可以一行命令就能做到word count的效果 假设有如下文本： Hello mr apache spark Hello world apache spark Hello we want study spark Hello we want study apach ...
分类：
其他好文 时间：
2019-05-26 12:41:52
阅读次数：
108
