前些天与一位NLP大牛交流,请教其如何提升技术水平,其跟我讲务必要重视“NLP的最基本知识”的掌握。掌握好最基本的模型理论,不管是对日常工作和后续论文的发表都有重要的意义。小Dream听了不禁心里一颤,那些自认为放在“历史尘埃”里的机器学习算法我都只有了解了一个大概,至于NLP早期的那些大作也鲜有拜 ...
分类:
编程语言 时间:
2019-03-18 01:20:37
阅读次数:
562
语义分割的基本结构如下,通过一个分割模型确定基本结果,再通过CRF等进行优化输出。 后面优化的模型有以下几种: 全连接条件随机场(DenseCRF) CRFasRNN 马尔科夫随机场(MRF) 高斯条件随机场(G-CRF) 后面的概率模型中存在二元势函数, 二元势函数就是描述像素点与像素点之间的关系 ...
分类:
其他好文 时间:
2019-02-26 17:44:36
阅读次数:
179
这篇文章主要讲解CRF++实现预测的过程,预测的算法以及代码实现相对来说比较简单,所以这篇文章理解起来也会比上一篇条件随机场训练的内容要容易。 预测 上一篇条件随机场训练的源码详解中,有一个地方并没有介绍。 就是训练结束后,会把待优化权重alpha等变量保存到文件中,也就是输出到指定的模型文件。在执 ...
分类:
其他好文 时间:
2019-02-01 11:18:22
阅读次数:
231
问题1:CUDA_ERROR_OUT_OF_MEMORY: How to activate multiple GPUs from Keras in Tensorflow ...
分类:
其他好文 时间:
2019-01-29 14:57:53
阅读次数:
238
上篇的CRF++源码阅读中, 我们看到CRF++如何处理样本以及如何构造特征。本篇文章将继续探讨CRF++的源码,并且本篇文章将是整个系列的重点,会介绍条件随机场中如何构造无向图、前向后向算法、如何计算条件概率、如何计算特征函数的期望以及如何求似然函数的梯度。本篇将结合条件随机场公式推导和CRF++ ...
分类:
其他好文 时间:
2019-01-28 20:14:53
阅读次数:
211
介绍 最近在用条件随机场做切分标注相关的工作,系统学习了下条件随机场模型。能够理解推导过程,但还是比较抽象。因此想研究下模型实现的具体过程,比如:1) 状态特征和转移特征具体是什么以及如何构造 2)前向后向算法具体怎么实现 等等。那么,想要深入了解一个算法比较好的方式就是阅读现有的开源项目。阅读好的 ...
分类:
其他好文 时间:
2019-01-14 00:22:17
阅读次数:
160
between tags and words, there's table 1. between tags, there's table 2. combine the two tables, p(...) to get the results. MRF: factors of the tables ...
分类:
其他好文 时间:
2019-01-07 10:30:22
阅读次数:
270
概述 条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。 条件随机场可以用于不同的预测问题,本章主要讲述线性链(linear chain)条件随机场在标注问题的应用,这 ...
分类:
其他好文 时间:
2018-12-29 23:18:22
阅读次数:
315
[TOC] 前言 通过前面几篇系列文章,我们从分词中最基本的问题开始,并分别利用了1 gram和HMM的方法实现了分词demo。本篇博文在此基础上,重点介绍利用CRF来实现分词的方法,这也是一种基于字的分词方法,在将句子转换为序列标注问题之后,不使用HMM的生成模型方式,而是使用条件概率模型进行建模 ...
分类:
编程语言 时间:
2018-12-28 13:26:13
阅读次数:
248
1.将CRF++文件的压缩包解压后添加到java的工程目录下 2.使用前必须生成train.data和test.data 文件并放到crf_learn.exe的同级目录下 3.cmd进入目标位置,其中目标位置为:crf_learn.exe的文件目录绝对路径 . 4.输入命令 可见: 5.继续输入命令 ...
分类:
其他好文 时间:
2018-12-26 20:05:23
阅读次数:
175