jieba库的作用就是对中文文章进行分词，提取中文文章中的词语 cut(字符串, cut_all，HMM) 字符串是要进行分词的字符串对象 cut_all参数为真表示采用全模式分词，为假表示采用精确模式分词，默认值为假； HMM为真表示采用HMM模型，为假则不采用，默认值为真。 精确模式jieba. ...
分类：
其他好文 时间：
2020-07-05 19:09:42
阅读次数：
128
汉语中句子以字为单位的，但语义理解仍是以词为单位，所以也就存在中文分词问题。主要的技术可以分为：规则分词、统计分词以及混合分词（规则+统计）。 基于规则的分词是一种机械分词，主要依赖于维护词典，在切分时将与剧中的字符串与词典中的词进行匹配。主要包括正向最大匹配法、逆向最大匹配法以及双向最大匹配法。 ...
分类：
编程语言 时间：
2020-04-26 22:32:41
阅读次数：
103
从马尔科夫链到隐马尔科夫模型 在前面几篇的内容里，我们介绍了马尔科夫链，下面我们接着来说说隐马尔科夫模型，它的英文全称是 Hidden Markov Model，也就是我们经常看到的 HMM 模型。隐马尔科夫模型是一种统计模型，它广泛地应用在语音识别、词性自动标注、概率文法等自然语言处理的各个应用领 ...
分类：
其他好文 时间：
2020-04-01 19:37:13
阅读次数：
107
安装jieba:pip install jieba 原理： 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法 ...
分类：
编程语言 时间：
2020-02-02 19:34:51
阅读次数：
263
隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。隐马尔可夫模型（HMM）可以用五个元素来描述，包括2个状态集合和3个概率矩阵：1. 隐含状态 S、2. 可观测状态 O、3. 初始状 ...
分类：
其他好文 时间：
2019-12-20 00:54:57
阅读次数：
160
实际项目我是这样做的： 输入数据参考了下面的优雅做法： 此外，HMM模型的持续增量训练： ...
分类：
其他好文 时间：
2019-05-14 11:00:23
阅读次数：
95
HMM模型： 将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了联合概率分布，其中 x 和 y 分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，生成模型需要枚举出所有可能的观察序列，这在实际运算过程 ...
分类：
其他好文 时间：
2018-12-03 17:18:55
阅读次数：
524
摘要 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔科夫过程。其难点是从可观察的参数中确定该过程的隐含参数，然后利用这些参数来作进一步的分析。在早些年HMM模型被非常广泛的应用，而现在随着机器学习的发展HMM模型的应用场景越来越小，然 ...
分类：
其他好文 时间：
2018-11-09 16:20:25
阅读次数：
206
隐马尔可夫（HMM）模型 隐马尔可夫模型，是一种概率图模型，一种著名的有向图模型，一种判别式模型。主要用于时许数据建模，在语音识别、自然语言处理等领域广泛应用。 概率图模型分为两类，一类：使用有向无环图表示变量间的依赖关系，称为有向图模型或者贝叶斯网；第二类：使用无向图表示变量间的依赖关系，称为无向 ...
分类：
其他好文 时间：
2018-09-22 12:44:06
阅读次数：
174
对于条件随机场的学习，我觉得应该结合HMM模型一起进行对比学习。首先浏览HMM模型：https://www.cnblogs.com/pinking/p/8531405.html 一、定义 条件随机场（crf）：是给定一组输入随机变量条件下，另一组输出随机变量的条件概率的分布模型，其特点是假设输出随机 ...
分类：
其他好文 时间：
2018-06-18 13:26:01
阅读次数：
189
