什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。熵...
分类：
其他好文 时间：
2015-07-16 16:04:48
阅读次数：
169
这篇要讨论的可不是哲学议题，而是希望以一个“数学工具”的角度来看隐马可夫模型（Hidden Markov Model, HMM）是什么，它的背后假设、长处与限制，以理解这样的工具可以拿来做什么用，而不是只与特定的应用绑在一起。隐马可夫模型？隐藏的马可夫模型？隐马可夫模型是机器学习（Machine L...
分类：
其他好文 时间：
2015-07-04 22:08:00
阅读次数：
192
http://blog.csdn.net/pipisorry/article/details/46618991
马尔科夫过程
马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。
考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是 {S1,S2,S3,...SN}。我们现在用q1,q2,q3,…qn来表示系统在t=1,2,3,…n时刻下的状态。在t=1时，系...
分类：
其他好文 时间：
2015-07-04 14:08:47
阅读次数：
243
马尔科夫过程
在概率论及统计学中，马尔可夫过程（英语：Markov process）是一个具备了马尔可夫性质的随机过程，因为俄国数学家安德雷·马尔可夫得名。马尔可夫过程是不具备记忆特质的（memorylessness）。换言之，马尔可夫过程的条件概率仅仅与系统的当前状态相关，而与它的过去历史或未来状态，都是独立、不相关的。
一个马尔科夫过程是状态间的转移仅依赖于前n个状态的过程。这个过程被称之...
分类：
其他好文 时间：
2015-06-21 09:24:20
阅读次数：
612
HMM（hidden markov model）可以用于模式识别，李开复老师就是采用了HMM完成了语音识别。一下的例子来自于《统计学习方法》一个HMM由初始概率分布，状态转移概率分布，观测概率分布确定。并且基于两个假设：1 假设任意时刻t的状态只依赖于前一个时刻的状态，与其他时刻的状态和观测序列无关...
分类：
编程语言 时间：
2015-06-15 22:04:26
阅读次数：
207
从决策树学习谈到贝叶斯分类算法、EM、HMM引言 近期在面试中，除了基础 & 算法 & 项目之外，经常被问到或被要求介绍和描写叙述下自己所知道的几种分类或聚类算法(当然，这全然不代表你将来的面试中会遇到此类问题，仅仅是由于我的简历上写了句：熟悉常见的聚类 & 分类算法而已)，而我向来恨对...
分类：
编程语言 时间：
2015-06-04 20:59:41
阅读次数：
267
preface:在走着走着的道路上，总会有些想法或者总结的念头，便想要记录下来，以备不时之需。ps:卤主搞自然语言处理相关，仅这块有些想法。
一、学好理论基础
卤主等有想法再些。
二、从数据入手，分析数据，看准需要实现的目标
无论科研还是工作，大同小异：做东西。在掌握基本方法(SVM, HMM, CRF, RF, LR等分类，聚类，回归工具)与工具（语言工具python，分...
分类：
其他好文 时间：
2015-06-02 18:03:01
阅读次数：
154
声明：本文主要介绍Matlab2011b中 Statistics Toolbox工具箱里与隐马尔科夫模型相关的函数及其用法（请勿与其它HMM工具箱混淆）。本文的主要内容来自Matlab 2011b的帮助文档，为作者自学笔记。水平有限，笔记粗糙，本着“交流探讨，知识分享”的宗旨，希望对HMM感兴趣的同学有些许帮助，欢迎指教，共同进步。
变量说明：
设有M个状态，N个符号Markov模型。
...
分类：
其他好文 时间：
2015-05-19 19:12:48
阅读次数：
253
转自：http://www.52nlp.cn/resources这里提供一些52nlp博客的一些系列文章以及收集的自然语言处理相关书籍及其他资源的下载，陆续整理中!如有不妥，我会做删除处理！特别推荐系列：1、HMM学习最佳范例全文文档，百度网盘链接: http://pan.baidu.com/s/1...
分类：
编程语言 时间：
2015-05-01 11:51:31
阅读次数：
230
原理请参见鄙人前面的一篇文章
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
namespace Viterbi
{
class Program
{
const int m = 2; //隐含状态数
const int n...
分类：
编程语言 时间：
2015-04-28 14:08:48
阅读次数：
128
