按标点切分语料 查找语料中的外语### 本代码处理的事带有目标语言句子的源语言句子，将其定位之后再交换句子并生成新的文件 分词 还原句子 随机生成测试集 ...
分类：
其他好文 时间：
2019-10-08 21:54:43
阅读次数：
90
朴素贝叶斯应用 机器学习 新浪新闻分类器 本文代码及数据均来自于https://cuijiahua.com/blog/2017/11/ml_5_bayes_2.html 这个例子比较有实践意义，不仅使用了jieba、sklearn，并且其中用到的思想也是很实用的。 jieba "结巴"中文分词：做最 ...
分类：
其他好文 时间：
2019-10-08 19:21:45
阅读次数：
102
Django之使用haystack+whoosh实现搜索功能，本文介绍的是如何通过搜索框来实现搜索功能，比如当我们的商城项目呀搜索商品时，或者论坛项目要搜索帖子时使用。内容包括 全文检索框架和引擎的安装和配置，生成索引文件，使用全文检索，以及使用中文分词包jieba等。 ...
分类：
其他好文 时间：
2019-10-07 11:17:48
阅读次数：
87
爱不要解释，不爱，更不需要解释！ 爱不要解释，不爱，更不需要解释！ explain英 [?k?sple?n] 美 [?k?splen] vt.& vi.讲解，解释 vt.说明…的原因，辩解vi.说明，解释，辩解 第三人称单数： explains 现在分词： explaining 过去式： expla ...
分类：
其他好文 时间：
2019-10-06 23:17:50
阅读次数：
223
python根据文本生成词云图 效果 代码 步骤以及注意点 1.首先要导入对应的库 2.文字会根据背景图而分布 3.背景图的选择对于最终效果很重要，选一个尽量大一点的背景图，这个背景图随便找就好，任何图片都可以不过最好大一些，图案不太复杂 4.如果字号小的话，可以调整字体，或者换个背景图 5.fon ...
分类：
编程语言 时间：
2019-10-05 22:14:56
阅读次数：
122
什么是solr？ solr是一个独立的企业级搜索应用服务器，本质是基于Lucene(一个开源的全文检索引擎工具包)的全文搜索服务器。 搜索引擎的原理是倒排索引。 倒排索引的原理，如何建立倒排索引表的。Lucene会先给所有的数据一个文档编号，将所有的内容进行分词操作，然后，将每个分词和对应的文档编号 ...
分类：
其他好文 时间：
2019-10-05 14:21:07
阅读次数：
159
[TOC] 简介 序列标注（Sequence Tagging）是一个比较简单的NLP任务，但也可以称作是最基础的任务。序列标注的涵盖范围是非常广泛的，可用于解决一系列对字符进行分类的问题，如分词、词性标注、命名实体识别、关系抽取等等。 对于分词相信看过之前博客的朋友都不陌生了，实际上网上已经有很多开 ...
分类：
其他好文 时间：
2019-10-04 16:35:36
阅读次数：
126
[TOC] 前言 在上一篇文章中，我们了解了词向量的相关内容。对于英文语料来说，直接根据空格或者标点即可对词记性划分。而对于中文语料，分词的方法就十分复杂了。之前在概述里提到过，在中文自然语言处理领域，不同的分词方法将使得同一个句子有不同的含义，如： “乒乓球拍/卖了” 和 “乒乓球/拍卖/了” “ ...
分类：
其他好文 时间：
2019-10-02 18:58:39
阅读次数：
85
英语的历史开始于公元450年左右盎格鲁 撒克逊人对英格兰的占领与统治。 此前，英国本土上的早期语言主要是当地凯尔特人使用的凯尔特语，其中含有一些拉丁语成分。 此后，英语经历了古英语、中古英语和现代英语三个发展阶段： 古英语时期(公元449-1150年)：英语词汇量约有五六万，其主体是统治者盎格鲁 撒 ...
分类：
其他好文 时间：
2019-10-01 18:02:28
阅读次数：
141
1.安装jieba 2.引入jieba cd 到haystack安装目录backends下, 新建文件ChineseAnalyzer.py,键入内容 3.更改haystack的后台文件文件夹下cp并修改whoosh_backend.py, 增加jieba. # 文件名是惯例, 可自行修改修改whoo ...
分类：
其他好文 时间：
2019-09-30 21:34:50
阅读次数：
99
