线性模型回顾
我们回顾一下之前的三种线性模型，它们的共同点是都要对输入的数据x做一个加权的分数s。
下图表示了这三种不同的线性模型的表示方式、误差函数和求解最小的Ein的方法。
这里可以看出，PLA算法这种线性分类模型，在求解Ein的时候是很困难的，相对而言，线性回归和logistic回归都有各自求解Ein的方法，那么我们能不能用这两种回归的计算方法来帮助...
分类：
其他好文 时间：
2015-01-13 21:34:53
阅读次数：
852
MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树线性模型二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso，....
分类：
其他好文 时间：
2015-01-13 15:39:08
阅读次数：
469
前面我们已经说了logistic回归，训练样本是，（且这里的是d维，下面模型公式的x是d+1维，其中多出来的一维是截距横为1，这里的y=±1也可以写成其他的值，这个无所谓不影响模型，只要是两类问题就可以），训练好这个模型中参数θ以后（或者是这个模型，这俩是一个模型），然后给入一个新的，我们就可以根据...
分类：
其他好文 时间：
2015-01-12 22:16:49
阅读次数：
302
soft binary classification
Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。
logistic regression的假设
我们在PLA和线性回归算法中都用数据的加权来计算一个分数...
分类：
其他好文 时间：
2015-01-11 17:50:58
阅读次数：
6277
本文主要通过实验来分析LinearRegression中参数设置对系数的影响。
分类：
其他好文 时间：
2015-01-09 12:28:28
阅读次数：
249
Exercise:Softmax Regression习题的链接：Exercise:Softmax RegressionsoftmaxCost.mfunction [cost, grad] = softmaxCost(theta, numClasses, inputSize, lambda, dat...
分类：
其他好文 时间：
2015-01-08 21:23:36
阅读次数：
162
第一眼看到逻辑回归（Logistic Regression）这个词时，脑海中没有任何概念，读了几页后，发现这非常类似于神经网络中单个神经元的分类方法。书中逻辑回归的思想是用一个超平面将数据集分为两部分，这两部分分别位于超平面的两边，且属于两个不同类别（和SVM的想法有些相似），如下图：因此，一般的逻...
分类：
其他好文 时间：
2015-01-05 21:47:02
阅读次数：
553
转载自：http://blog.csdn.net/zouxy09/article/details/20319673一、逻辑回归（LogisticRegression） Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。 还有类似的某...
分类：
编程语言 时间：
2015-01-04 20:58:40
阅读次数：
244
Classification And Regression Tree(CART)是一种很重要的机器学习算法，既可以用于创建分类树（Classification Tree），也可以用于创建回归树（Regression Tree），本文介绍了CART用于离散标签分类决策和连续特征回归时的原理。决策树创建过程分析了信息混乱度度量Gini指数、连续和离散特征的特殊处理、连续和离散特征共存时函数的特殊处理和后剪枝；用于回归时则介绍了回归树和模型树的原理、适用场景和创建过程。个人认为，回归树和模型树可以被看做“群落分类...
分类：
编程语言 时间：
2014-12-30 13:40:48
阅读次数：
767
前言 本文将介绍机器学习分类算法中的Logistic回归分类算法并给出伪代码，Python代码实现。 (说明：从本文开始，将接触到最优化算法相关的学习。旨在将这些最优化的算法用于训练出一个非线性的函数，以用于分类。)算法原理 首先要提到的概念是回归。 对于回归这个概念，在以后的文章会有系...
分类：
编程语言 时间：
2014-12-30 13:29:14
阅读次数：
615
