实验二 统计压缩方法的具体实现一、实验要求对给定的数据文件，完成以下操作：1、 编写一段程序，计算其中一些图像和语音文件的一阶熵。2、 选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。 （一阶熵、二阶熵的计算，使用到的VC工程分别为：entropy.dsw、sec_entropy....
分类：
其他好文 时间：
2015-10-16 13:14:35
阅读次数：
116
实验二 统计压缩方法的具体实现一、实验要求对给定的数据文件，完成以下操作：1、 编写一段程序，计算其中一些图像和语音文件的一阶熵。2、 选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。（一阶熵、二阶熵的计算，使用到的VC工程分别为：entropy.dsw、sec_entropy.d...
分类：
其他好文 时间：
2015-10-14 12:25:18
阅读次数：
133
实验二 统计压缩方法的具体实现一、实验要求对给定的数据文件，完成以下操作：1、 编写一段程序，计算其中一些图像和语音文件的一阶熵。2、 选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。（一阶熵、二阶熵的计算，使用到的VC工程分别为：entropy.dsw、sec_entropy.d...
分类：
其他好文 时间：
2015-10-14 12:11:18
阅读次数：
133
实验二 统计压缩方法的具体实现一、实验要求对给定的数据文件，完成以下操作：1、 编写一段程序，计算其中一些图像和语音文件的一阶熵。2、 选择一个图像文件，并计算其二阶熵。试解释一阶熵和二阶熵之间的差别。（一阶熵、二阶熵的计算，使用到的VC工程分别为：entropy.dsw、sec_entropy.d...
分类：
其他好文 时间：
2015-10-14 12:01:45
阅读次数：
109
题目连接http://acm.hdu.edu.cn/showproblem.php?pid=1053EntropyDescriptionAn entropy encoder is a data encoding method that achieves lossless data compressi...
分类：
其他好文 时间：
2015-10-09 21:17:23
阅读次数：
215
#python3 calculate Shannon Entropy
from math import log2
def calcShannonEnt(dataSet):
length,dataDict=float(len(dataSet)),{}
for data in dataSet:
try:dataDict[data]+=1
except:...
分类：
其他好文 时间：
2015-08-29 20:21:06
阅读次数：
392
第6章 逻辑回归与最大熵模型逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。6.1 逻辑回归模型定义6.1(逻辑分布...
分类：
其他好文 时间：
2015-08-26 23:55:55
阅读次数：
760
转自：KL距离，Kullback-Leibler DivergenceKL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在...
分类：
其他好文 时间：
2015-08-11 18:16:40
阅读次数：
127
Go Go Go
第十讲也顺利结束啦，不愧是Advanced Recursive NN讲得内容确实有些Advanced，不过如果认真听课再认真看课后的paper的话，我相信还是可以完全理解的。
开始总结喽。。。
首先，老师在课上开篇讲了RNN的一个综述吧，也是使用RNN进行NLP的三个大的要素：1.Train objective主要有两种，一种是cross-entropy或者ma...
分类：
其他好文 时间：
2015-08-04 23:06:02
阅读次数：
301
声明：本文主要是基于网上的材料做了文字编辑，原创部分甚少。参考资料见最后。
隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。HMM首先出现，MEMM其次，CRF最后。三个算法...
分类：
其他好文 时间：
2015-07-20 16:23:48
阅读次数：
250
