背景： 李航的《统计学习方法》一书中提到：决策树算法通常采用启发式算法，故了解之 问题解答： 时间有限，这里也只是将算法和启发式算法的区别和简单发展摘录如下： 一、算法和启发式方法之间的差别很微妙，两个术语的意思也有一些重叠。就本书的目的而言，它们之间的差别就在于其距离最终解决办法的间接程度：算法直 ...
分类：
编程语言 时间：
2016-10-07 13:40:00
阅读次数：
232
背景：在看李航的《统计学习方法时》提到了NP完全问题，于是摆之。 问题解答：以下是让我豁然开朗的解答的摘抄： 最简单的解释：P：算起来很快的问题NP：算起来不一定快，但对于任何答案我们都可以快速的验证这个答案对不对NP-hard：比所有的NP问题都难的问题NP-complete：满足两点：1. 是N ...
分类：
其他好文 时间：
2016-10-07 13:31:08
阅读次数：
175
一、损失函数和风险函数 损失函数（loss function）是度量模型一次预测的好坏，风险函数度量平均意义下模型预测好坏。 期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定理，当样本容量N趋于无穷大时，经验风险Remp趋于期望风险Rexp。当用经验风险去预测 ...
分类：
其他好文 时间：
2016-09-28 15:47:12
阅读次数：
106
花了一周多的时间把python粗浅学了一遍，看代码无太大问题。 《统计学习方法》粗略过了一遍，把几种常用的学习类型及特征有了一个整体印象，每个算法和公式的推导过程没来得及细研究。后续待实践中反复琢磨、验证。 网上找了几十套不错的boostrap模板，网站的模样大致有数了。真是意外之喜：） 目前在复习 ...
分类：
其他好文 时间：
2016-09-13 23:56:29
阅读次数：
193
高斯混合模型GMM是一个非常基础并且应用很广的模型。对于它的透彻理解非常重要。网上的关于GMM的大多资料介绍都是大段公式，而且符号表述不太清楚，或者文笔非常生硬。本文尝试用通俗的语言全面介绍一下GMM，不足之处还望各位指正。 首先给出GMM的定义 这里引用李航老师《统计学习方法》上的定义，如下图： ...
分类：
其他好文 时间：
2016-08-08 21:04:21
阅读次数：
2159
使用SVM训练mnist数据，采用统计学习方法中的SMO算法，一对一法k(k-1)/2个SVM进行多类分类，python实现 ...
分类：
其他好文 时间：
2016-08-06 17:27:05
阅读次数：
169
在论文《action recognition with improved trajectories》中看到fisher vector，所以学习一下。但网上很多的资料我觉得都写的不好，查了一遍，按照自己的认识陈述一下，望大牛指正。 核函数： 先来看一下《统计学习方法》里叙述的核函数的概念， 可以看到， ...
分类：
其他好文 时间：
2016-08-05 11:50:10
阅读次数：
263
【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的... ...
分类：
其他好文 时间：
2016-08-03 20:28:24
阅读次数：
298
【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的... ...
分类：
其他好文 时间：
2016-08-03 09:00:33
阅读次数：
197
【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的... ...
分类：
其他好文 时间：
2016-08-02 15:11:54
阅读次数：
171
