0）递归下降算法的目的是通过不断迭代，逼近函数的最小值，从而求出参数1）逻辑回归实际上是一个分类器， 利用已有的样本来训练 sigmoid 函数(1) sigmoid 函数的一般形式：(2) sigmoid 函数的图形:(3) 预测函数 : 比如说有一个样本x, 他有10个 features...
分类：
编程语言 时间：
2015-03-20 23:36:36
阅读次数：
223
回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。...
分类：
其他好文 时间：
2015-03-06 16:17:41
阅读次数：
273
下面是转载的内容，主要是介绍逻辑回归的理论知识，先总结一下自己看完的心得
简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果，逻辑回归则是这样的结果上加上一个逻辑函数
这里选用的就是Sigmoid函数，在坐标尺度很大的情况下类似于阶跃函数
在确认特征对应的权重值也就是回归系数的时候
最常用的方法是最大似然法，EM参数估计，这个是在一阶导数能够有解的前提下
如果一阶导数无法...
分类：
其他好文 时间：
2015-03-06 15:58:28
阅读次数：
59135
# -*- coding: cp936 -*-
from numpy import *
def loadDataSet():
dataMat = []; labelMat = []
fr = open('testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split()
...
分类：
编程语言 时间：
2015-03-06 15:55:52
阅读次数：
245
在解决一些简单的分类问题时，线性回归与逻辑回归就足以应付，但面对更加复杂的问题时（例如对图片中车的类型进行识别），运用之前的线性模型可能就得不到理想的结果，而且由于更大的数据量，之前方法的计算量也会变得异常庞大。因此我们需要学习一个非线性系统：神经网络。
我在学习时，主要通过Andrew Ng教授提供的网络，而且文中多处都有借鉴Andrew Ng教授在mooc提供的资料。
...
分类：
其他好文 时间：
2015-03-05 14:56:33
阅读次数：
872
Regularization能在一定程度上减少过拟合 在线性回归中，J(θ)修改为： 在逻辑回归中，J(θ)修改为： 不管是线性回归还是逻辑回归，梯度下降的计算公式都是：
分类：
其他好文 时间：
2015-01-28 18:09:20
阅读次数：
178
:http://hi.baidu.com/hehehehello/blog/item/0b59cd803bf15ece9023d96e.html#sendhttp://en.wikipedia.org/wiki/Logistic_regressionLogistic regression （逻辑回归...
分类：
其他好文 时间：
2015-01-26 18:48:51
阅读次数：
232
一、逻辑回归的认识逻辑回归是一个用来解决二分类的简便方法。先来看看逻辑回归解决二分类的基本思想。之前写了线性回归，现在写逻辑回归~都叫回归，有什么不同呢？这里写逻辑回归又提到线性回归，他们又有什么联系呢？首先，从机器学习的角度说一下。机器学习中，有两个问题是比较相似的，即预测和分类。通常将模型的输出...
分类：
其他好文 时间：
2015-01-25 21:01:58
阅读次数：
565
MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树线性模型二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso，....
分类：
其他好文 时间：
2015-01-13 15:39:08
阅读次数：
469
