概念 一个 tokenizer（分词器）接收一个字符流，将之割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens流。 例如，whitespace tokenizer遇到空白字符时分割文。它会将文本 "Quick brown fox!“ 分割为 [Quick, brown, fo ...
分类：
其他好文 时间：
2021-03-03 12:23:40
阅读次数：
0
一个简单的主入口是这样滴： import sys sys.path.append('..') import torch from pytorch_pretrained_bert import BertTokenizer, BertModel, BertForMaskedLM # Load pre-t ...
分类：
其他好文 时间：
2021-03-03 12:08:49
阅读次数：
0
全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)， 这些Token会被进一步处理， <br> 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中 ...
分类：
其他好文 时间：
2020-12-16 12:35:37
阅读次数：
2
下面我们介绍Java类库所提供的常用类及类的常用方法 一、java.lang.String 1. String类常用的构造函数 public String(String original) 使用串对象original，创建字符串对象，其中original可以是字符串常量或字符串对象 public S ...
分类：
编程语言 时间：
2020-10-12 20:13:05
阅读次数：
27
我研究了3个例子：北京大学的wiki2bio、谷歌的ToTTo、微软的WIKITABLETEXT 北京大学的wiki2bio Liu, T., Wang, K., Sha, L., Chang, B., & Sui, Z. (2018). Table-to-text generation by st ...
分类：
其他好文 时间：
2020-09-08 20:44:10
阅读次数：
56
今天打算用keras-bert来进行文本分类，linux系统没啥问题，但是windows系统下用pycharm报以下错误 ImportError: cannot import name 'Tokenizer' from 'keras_bert' 网上很多都是说更新kerast-bert pip in ...
分类：
其他好文 时间：
2020-07-30 14:35:44
阅读次数：
128
import hanlp tokenizer = hanlp.load('PKU_NAME_MERGED_SIX_MONTHS_CONVSEG') tagger = hanlp.load(hanlp.pretrained.pos.CTB5_POS_RNN_FASTTEXT_ZH) syntactic ...
分类：
其他好文 时间：
2020-06-25 23:25:25
阅读次数：
71
工作汇报 编辑器 xwl： 今天： 改editor: 接口、去语言服务 [#22] +keyword提示（问题：token不提示了） 明天： editor： word-based suggestion(tokenizer) [#23] chrome插件搭建（白板+选language）[#24] 燃尽 ...
分类：
其他好文 时间：
2020-05-27 09:18:52
阅读次数：
62
1. 读邮件数据集文件，提取邮件本身与标签。 列表 numpy数组 2.邮件预处理 邮件分句 名子分词 去掉过短的单词 词性还原 连接成字符串 传统方法来实现 nltk库的安装与使用 pip install nltk import nltk nltk.download() # sever地址改成 h ...
分类：
其他好文 时间：
2020-05-21 10:23:57
阅读次数：
57
