logistic回归与分类是一种简单的分类算法。在分类的过程中只需要找到一个划分不同类的权重向量即可，对新的数据只需要乘上这个向量并比较就可以得到分类。比如下图的二分类问题：
每个样本点可以看成包含两个特征（x1,x2）,现在需要把他们分开，如果这是训练集，他们本身属于哪一个类是已知的，比如说蓝色的属于0类，红色的属于1类，现在我们想通过这些数据建立一个分类标准可以将他们分开，这样再来了一个不...
分类：
其他好文 时间：
2015-08-08 18:24:00
阅读次数：
1365
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类，而朴素贝叶斯分类可谓是里面最简单、入门的一种。首先关于贝叶斯定理，感觉简单而伟大，前些天一直在看吴军的数学之美（没看过的极力推荐）系列文章，看到自然语言处理从规则模型到统计模型转变的时候，语言的识别准确率上升好几个等级，以至于今天的语言识别到达很强大的地步，同时对于搜索引擎，网页搜索的准确率，也上升好多。这其中的最最重...
分类：
编程语言 时间：
2015-08-05 12:51:53
阅读次数：
250
元胞自动机(Cellular automaton)
元胞自动机是由元胞组成的网格，每个元胞都根据邻域的状态来选择开或关。所有的元胞都遵循同样的规则，也称为元胞的更新规则，规则根据各元胞邻域的当前状态决定元胞的下一步状态。同自然界的复杂系统一样，元胞自动机也是由大量简单个体(元胞)组成，不存在中央控制，每个个体都只与少量其他个体交互。而且元胞自动机也能表现出非常复杂的行为，它们的行为很难甚至不...
分类：
编程语言 时间：
2015-08-03 14:48:18
阅读次数：
238
该节主要是把《机器学习实战》书上第三章关于决策树的相关代码照样子实现了一遍。对其中一些内容作了些补充，对比ID3与C45区别，同时下载了一个大样本集实验决策树的准确率。首先，对于决策树的原理，很多很好的博客值得一看：从决策树学习谈到贝叶斯分类算法、EM、HMM决策树算法总结这两个已经详解了关于决策树的所有，慢慢品读吧。下面是书上外加添加的部分程序，首先是tree.py里面的程序：import ope...
分类：
编程语言 时间：
2015-07-31 22:01:49
阅读次数：
282
最近一直在研究Spark的分类算法，因为我们是做日志文本分类，在官网和各大网站一直没找到相应的Demo，经过1个多月的研究，终于有点成效。def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setApp...
分类：
其他好文 时间：
2015-07-29 11:58:43
阅读次数：
846
前言余弦定理，这个在初中课本中就出现过的公式，恐怕没有人不知道的吧。但是另外一个概念，可能不是很多的人会听说过，他叫空间向量，一般用e表示，高中课本中有专门讲过这个东西，有了余弦定理和向量空间，我们就可以做许多有意思的事情了，利用余弦定理计算文本相似度的算法就是其中一个很典型的例子。当然这个话题太老，说的人太多，没有什么新意，恰巧周末阅读了吴军博士的>这门书，书中讲到了利用余弦定理实现新闻分类，于...
分类：
编程语言 时间：
2015-07-27 23:04:38
阅读次数：
239
这一课主要是从如何判断一个机器学习分类算法里拟合的参数是最佳参数引出函数间隔和几何间隔的定义。
1、函数间隔
假设假想函数，，那么可以知道y=1；反之则y=0
。所以当，我们可以很确定的认为y=1；当，可以很确定地认为y=0。所以在分类算法中，我们在训练样本时得到这两个结果的时候，就可以知道选择的参数能很好的拟合数据，能很有自信地认为我们的分类器是符合数据事实的。因此我们数据...
分类：
其他好文 时间：
2015-07-24 16:16:25
阅读次数：
3441
朴素贝叶斯算法与上篇中写到到生成学习算法的思想是一致的。它不需要像线性回归等算法一样去拟合各种假设的可能，只需要计算各种假设的概率，然后选择概率最高的那种假设分类类别。其中还添入了一个贝叶斯假定：在给定目标值y时属性值x之间相互独立。这样的分类算法被称为朴素贝叶斯分类器（Naive Bayes classifier） 。
1、朴素贝叶斯算法
在朴素贝叶斯算法的模型里，给定的训练集为,...
分类：
编程语言 时间：
2015-07-24 13:04:49
阅读次数：
215
本文主要参考了OpenCV的官方文档
http://docs.opencv.org/modules/ml/doc/boosting.html
boosting算法是一个监督式机器学习算法，它解决的是一个二元分类问题。本文包括对算法思想的理解，不包含算法的数学推导。
目标检测就是用这个分类算法，把只含有目标的图片作为一类，不含有目标的作为另一类，然后训练分类器，进行检测的时候，输入...
分类：
编程语言 时间：
2015-07-24 10:46:24
阅读次数：
173
【编者按】针对Quora上的一个老问题：不同分类算法的优势是什么？Netflix公司工程总监Xavier Amatriain近日给出新的解答，他根据奥卡姆剃刀原理依次推荐了逻辑回归、SVM、决策树集成和深度学习，并谈了他的不同认识。他并不推荐深度学习为通用的方法，这也侧面呼应了我们之前讨论的问题：深...
分类：
编程语言 时间：
2015-07-23 17:17:52
阅读次数：
110
