词法分析（lexical analysis）：将字符序列转换为单词（Token）序列的过程 分词，命名实体识别，词性标注 并称 汉语词法分析“三姐妹”。 在线演示平台：http://ictclas.nlpir.org/nlpir/ 词性标注（Part-Of-Speech tagging, POS t ...
分类：
其他好文 时间：
2020-06-26 01:03:06
阅读次数：
93
数据来源：http://ictclas.nlpir.org/nlpir/ （一个很牛逼的网站，上面有非常多的处理语言的功能（如分词标注、情感分析、相关词汇）） 当然这个网站还有其他的功能，像“分词标注”，就是把你输入的文本切成一个个的词，并且把这些词的词性都标出来； 还有“情感分析”的功能，就是分析 ...
分类：
其他好文 时间：
2020-01-17 13:56:15
阅读次数：
97
首先解释下override与overload 翻译过来叫做重写和重载，笔者看来，二者的区别在两个方面表现的十分明显，首先是代码书写的区域，重载在一个类里面，重写则是子类对父类进行的重写，然后是表现优先级的不同，重写的表现优先级要高于被重写的对象，也就是说优先表现重写后的那个方法 对代码稍微做下更改， ...
1、利用结巴分词对中文句子进行分词，词性标注（词性标注使用的词性兼容了ICTCLAS汉语词性标准） 参考https://gist.github.com/luw2007/6016931 2、将词的文本和词性打包，视为“词对象”，对应 :class:Word(token,pos) 3、利用REfo模块对 ...
分类：
其他好文 时间：
2018-08-03 19:55:06
阅读次数：
1526
一：前言 和拉丁语系不同，亚洲语言是不用空格分开每个有意义的词的。而当我们进行自然语言处理的时候，大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个工具去把完整的文本中分解成粒度更细的词。 jieba就是这样一个非常好用的中文工具，是以分词起家的，但是功能比分词要强大很多。 二：基本分词函 ...
分类：
其他好文 时间：
2018-03-27 21:57:22
阅读次数：
1318
背景 Ansj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。工具支持词性标注，所以就可以依据词性进行分词结果的过滤。 词性介绍 1. 名词 (1个一类，7个二类，5个三类) 名词分为以下子类： n 名 ...
分类：
其他好文 时间：
2017-12-09 19:34:40
阅读次数：
239
NLPIR/ICTCLAS分词系统针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，可以支持中英文分词与词性标注，可视化系统可根据词性对不同的分词结果进行区分显示，一般虚词都是浅色，而名词、动词、形容词等实词为显著的颜色。系统还支持在线用户词典的输入，用户可以在右下方添加用户词... ...
分类：
其他好文 时间：
2017-12-04 16:42:05
阅读次数：
204
官网：https://pynlpir.readthedocs.io/en/latest/ github：https://github.com/tsroten/pynlpir NLPIR分词系统前身为2000年发布的ICTCLAS词法分析系统，从2009年开始，为了和以前工作进行大的区隔，并推广NLP... ...
分类：
编程语言 时间：
2017-09-21 16:44:55
阅读次数：
230
今年毕业时的毕设是有关大数据及机器学习的题目。因为那个时间已经步入前端的行业自然选择使用JavaScript来实现其中具体的算法。虽然JavaScript不是做大数据处理的最佳语言，相比还没有优势，但是这提升了自己对与js的理解以及弥补了一点点关于数据结构的弱点。对机器学习感兴趣的朋友还是去用 py ...
分类：
编程语言 时间：
2017-07-28 15:37:59
阅读次数：
251
0、使用NLPIR-ICTCLAS2014分词系统之前的准备 下载NLPIR-ICTCLAS2014的下载包。高速传送门： http://ictclas.nlpir.org/upload/20140618094605_ICTCLAS2014.zip 须要有自己的词库(事实上没有都没问题，词库仅仅是我 ...
分类：
其他好文 时间：
2017-06-06 20:52:18
阅读次数：
337
