1、 logistic回归与一般线性回归模型的区别：（1） 线性回归的结果变量 与因变量或者反应变量与自变量之间的关系假设是线性的，而logistic回归中 两者之间的关系是非线性的；（2） 前提假设不同，在线性回归中，通常假设，对于自变量x的某个值，因变量Y的观测值服从正态分布，但在logisti...
分类：
其他好文 时间：
2014-07-06 20:27:06
阅读次数：
285
参考《机器学习实战》 利用Logistic回归进行分类的主要思想： 根据现有数据对分类边界线建立回归公式，以此进行分类。 分类借助的Sigmoid函数： Sigmoid函数图： Sigmoid函数的作用： 将所有特征都乘上一个回归系数，然后将所有结果值相加，将这个总和代入Sigmoid函数中，进而得...
分类：
其他好文 时间：
2014-07-02 17:30:24
阅读次数：
296
详细要学习的书籍就是《机器学习实战》Machine Learning in Action，Peter HarringtonWindows下要安装3个文件，各自是;1.Python（因为python不是向下兼容的，所以推荐2.7版本号），网址:http://www.python.org2.numpy（...
分类：
编程语言 时间：
2014-07-01 17:52:50
阅读次数：
441
Logistic回归是一种非常高效的分类器。它不仅可以预测样本的类别，还可以计算出分类的概率信息。不妨设有$n$个训练样本$\{x_1, ..., x_n\}$，$x_i$是$d$维向量，其类别标签是$\{y_1, ..., y_n\}$。对于一个$c$类问题，$y_i \in \{1, 2, .....
分类：
其他好文 时间：
2014-06-21 16:04:13
阅读次数：
177
今天按照《机器学习实战》学习k-邻近算法，输入KNN.classify0([0,0],group,labels,3)的时候总是报如下的错误：Traceback(mostrecentcalllast):File"<pyshell#75>",line1,in<module>KNN.classify0([0,0],group,labels,3)File"KNN.py",line16,inclassify0diffMat=til..
分类：
其他好文 时间：
2014-06-17 17:05:39
阅读次数：
235
什么是回归？假设现在有些数据点，我用直线对这些点进行拟合（该线叫做最佳拟合直线），这个拟合的过程就叫做回归。Logistic回归？这里，Logistic回归进行分类的主要思想：根据现有数据对分类的边界线建立回归公式，以此边界线进行分类。这里的回归指的是最佳拟合，就是要找到边界线的回归公式的最佳拟合的...
分类：
其他好文 时间：
2014-06-17 12:52:30
阅读次数：
648
今天来讨论多元函数求极值问题，由于在Logistic回归用牛顿迭代法求参数提到这个，所以很有必要把它研究清楚。
回想一下，一元函数求极值问题中我们是怎样做的？比如对于凹函数，先求一阶导数，得到，由
于极值处导数一定为零，但是导数等于零的点不一定就有极值，比如。所以我们还需要进一步判断，对函数
继续求二阶导得到，现在因为在驻点处二阶导数成立，所以在处取得
极小值，二阶导数在这里的意义就...
分类：
其他好文 时间：
2014-06-10 06:36:52
阅读次数：
254
参考《机器学习实战》 朴素（naive）贝叶斯遵循以下原则： 设特征为x，y；类别为c。
在已知x、y特征的情况下，判断其类为ci的概率为： 自然， 我们选取概率较大的为对应的分类结果：
朴素贝叶斯就是根据这一原则进行分类器设计的。书中以垃圾邮件分类为例做了详述。 垃圾邮件分类的基本过程： 数据集：...
分类：
其他好文 时间：
2014-06-06 23:35:03
阅读次数：
526
问题由来在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。例如，考虑一下的三个特征：["male","female"]["from
Europe","from US","from Asia"]["uses Firefox","uses Chrome","uses
Safari","uses...
分类：
其他好文 时间：
2014-06-04 17:03:02
阅读次数：
344
1.梯度上升优化1).
伪代码：所有回归系数初始化为1-------------------weights = ones((colNum,1))重复r次：
计算整个数据集的梯度gradient 使用alpha*gradient更新回归系数的向量 返回回归系数weights2). 迭代r次的代码...
分类：
其他好文 时间：
2014-06-02 18:11:41
阅读次数：
271
