虽然网上的文章对BiLSTM-CRF模型介绍的文章有很多，但是一般对CRF层的解读比较少。 于是决定，写一系列专门用来解读BiLSTM-CRF模型中的CRF层的文章。 我是用英文写的，发表在了github pages上。 如果文章中有描述不对，不准确或者引起困惑的地方，欢迎随时发表评论。 文章链接： ...
分类：
其他好文 时间：
2017-09-16 11:50:32
阅读次数：
369
CRF++词性标注 2016-02-28 分类：NLP 阅读(5558) 评论(19) 训练和测试的语料都是人民日报98年标注语料，训练和测试比例是10：1，直接通过CRF++标注词性的准确率:0.933882。特征有一千多万个，训练时间比较长。机器cpu是48核，通过crf++，指定并线数量 -p ...
分类：
其他好文 时间：
2017-08-29 15:05:40
阅读次数：
225
1、libCRFPP.so放在idea项目 resources下，打jar包时打在jar中。 2、需要安装CRF相关信息 网上找到两种方式： 出现这种情况的原因是找不到libcrfpp.so.0等库文件，解决方案一为（貌似此方法对root用户不管用）： 解决方案二为建立以下符号链接： Caused ...
分类：
编程语言 时间：
2017-08-28 23:54:56
阅读次数：
1330
分三步1、先分词2、做BEMS标注，同时做词性标注3、训练模型 1、对语料进行分词 拿到测试部的语料或者其他渠道的语料，先对语料进行分词，我刚刚开始是用NS分词的，等CRF模型训练好后，可以直接用CRF进行分词，分完词后要人工核对分词结果，将分词分得不正确的地方修改好 2、标注词性，标注BEMS B ...
分类：
其他好文 时间：
2017-08-09 00:03:19
阅读次数：
316
今天介绍CRFs在中文分词中的应用 工具：CRF++,可以去 https://taku910.github.io/crfpp/ 下载，训练数据和测试数据可以考虑使用bakeoff2005,这是链接 http://sighan.cs.uchicago.edu/bakeoff2005/ 首先需要了解一些 ...
分类：
其他好文 时间：
2017-07-23 22:39:40
阅读次数：
286
安装CRF++, 到CRF++网站CRF++: Yet Another CRF toolkit，下载C++源代码安装包(这里用的是 CRF++-0.58.tar.gz ），解压，进入解压文件并如下过程安装 在当前文件夹下cd python进入安装python包 此时，当我们在Python环境下调用C ...
分类：
编程语言 时间：
2017-07-23 12:43:08
阅读次数：
420
昨天，有个朋友给我出了个难题：他手上有一个视频，1080P的，49秒，200多兆；要求在确保质量的情况下把文件压缩到10M以内。 这是什么概念呢？按照文件大小10M来计算，码率是：10 x 8 / 49 = 1.6 Mbps。也就比VCD的质量略好一点（注：VCD的标准码率是1150 Kbps）。谈 ...
分类：
其他好文 时间：
2017-07-22 12:11:28
阅读次数：
175
CRF的进化 https://flystarhe.github.io/2016/07/13/hmm-memm-crf/参考： http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/ 标记偏置问题：MEMM最 ...
分类：
其他好文 时间：
2017-07-17 20:24:59
阅读次数：
338
这里主要是讲Conditional Random Fields(CRF)用于pixel-wise的图像标记（事实上就是图像切割）。CRF经经常使用于 pixel-wise的label 预測。当把像素的label作为形成马尔科夫场随机变量且能够获得全局观測时，CRF便能够对这些label进行建模。这样 ...
分类：
其他好文 时间：
2017-07-11 15:57:49
阅读次数：
267
对所有类型的CRF模型，包括最大熵模型，都是采用极大似然估计的方法来进行参数估计，也就是说在训练数据集$\mathcal T$上进行对数似然函数$\mathcal L$的极大化。根据上一篇《条件随机场（三）》，我们知道线性链CRF的模型为 \begin{equation} p_{\vec {\lam ...
分类：
其他好文 时间：
2017-07-01 11:00:52
阅读次数：
214
