决策树学习是应用最广泛的归纳推理算法之一，是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一棵决策树。决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，机器学习算法最终将使用这些从数据集中创造的规则。决策树的优点为：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点为：可能产生过度匹配的问题。决策树适于处理离散型和连续型的数据。
在决策树中...
分类：
编程语言 时间：
2015-03-05 17:01:51
阅读次数：
300
在解决一些简单的分类问题时，线性回归与逻辑回归就足以应付，但面对更加复杂的问题时（例如对图片中车的类型进行识别），运用之前的线性模型可能就得不到理想的结果，而且由于更大的数据量，之前方法的计算量也会变得异常庞大。因此我们需要学习一个非线性系统：神经网络。
我在学习时，主要通过Andrew Ng教授提供的网络，而且文中多处都有借鉴Andrew Ng教授在mooc提供的资料。
...
分类：
其他好文 时间：
2015-03-05 14:56:33
阅读次数：
872
摘要
针对高维数据的相似性索引非常适于构建内容相关的检索系统，尤其对于音频、图像、视频等内容丰富的数据。近年来，位置敏感哈希及其变种算法以近似相似性搜索的索引技术被提出，这些方法的一个显著缺点是需要很多的哈希表来保证良好的搜索效果。该文章提出了一个新的索引策略来克服上述缺点，称作多探头LSH。
多探头LSH建立在LSH技术基础上，它可以智能地探测哈希表中可能包含查询结果的多个桶(bucke...
分类：
其他好文 时间：
2015-03-05 12:57:26
阅读次数：
217
区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
Boosting的思想是集成学习，把许多个弱分类器结合起来，构成一个强分类器。
首先输入原始的训练样本，得到一个弱分类器，可以知道它的正确率和错误率。计算该弱分类器的权重，如下：
然后提高错误分类样本的权重，让后面的分类器focus它们，调整样本的权重：
如果原本分类正确：
如果样本分类错误：
把新的样本输入到后面学习，重复这个过程，得到许多个弱分类器，及其分类器...
分类：
编程语言 时间：
2015-03-05 10:48:44
阅读次数：
145
SVM的本质是寻找最大间隔的分割超平面。
SVM的假设也是在样本的每个属性前面乘以一个系数，代价函数是基于LR演化而来的。LR中是S型函数的假设，SVM中是分段函数cost的形式，再包括正则项，最后SVM的代价函数为：
当C一般要设置地很大,这样子的SVM才能够找到最大间隔的超平面，thetaT*x>=1或者thetaT*x
我们构建拉格朗日函数：
分别对...
分类：
编程语言 时间：
2015-03-05 10:47:48
阅读次数：
257
SVM1.概述?\Rightarrow brief introductionSVM全称Support_Vector_Machine,即支持向量机，是机器学习中的一种监督学习分类算法，一般用于二分类问题。对于线性可分的二分类问题，SVM可以直接求解，对于非线性可分问题，其也可以通过核函数将低维映射到高维空间从而转变为线性可分。对于多分类问题，SVM经过适当的转换，也能加以解决。相对于传统的分类算法如l...
分类：
其他好文 时间：
2015-03-05 00:26:34
阅读次数：
316
Feekood是一种人工智能脚本技术，旨在建立一个开放的脚本语言平台，解决一系列的应用软件快速开发的问题。
Feekood结合了面向对象设计（OOP）、面向过程设计各自的优势，在传统程序设计逻辑的基础上，提供了更多更丰富的内容，通过提供丰富的编程接口和模板程序，大大简化编码工作，全面提高软件开发的工作效率。
Feekood提供平台化的编程方式，网络化的资源管理，让您可以随时随地开展工作。基于F...
分类：
编程语言 时间：
2015-03-04 22:48:46
阅读次数：
231
