这是我首次接触最优算法，如何在最短时间内从A点到达B点？ 这个应该是最短路径问题了，如何投入最少的工作却获得最大的收益？如何设计发动机使油耗少而功率大呢？ 现在我们讲学习一些最优算法，并且利用他们来训练出一个非线性函数用于分类。至于“回归” 是什么东西呢？假设我们现在有一些数据点，我们用一条直线对这 ...
分类：
其他好文 时间：
2017-04-11 16:57:29
阅读次数：
268
回归与梯度下降： 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。 用一个很简单的例子来说明回归，这 ...
分类：
其他好文 时间：
2017-04-09 12:24:18
阅读次数：
172
Softmax回归：K分类问题， 2分类的logistic回归的推广。其概率表示为： 对于一般训练集： 系统参数为： Softmax回归与Logistic回归的关系 当Softmax回归用于2分类问题，那么可以得到： 令θ=θ0-θ1，就得到了logistic回归。所以... ...
分类：
其他好文 时间：
2017-04-05 23:57:07
阅读次数：
362
本次回归章节的思维导图版总结已经总结完毕，但自我感觉不甚理想。不知道是模型太简单还是由于自己本身的原因，总结出来的东西感觉很少，好像知识点都覆盖上了，但乍一看，好像又什么都没有。不管怎样，算是一次尝试吧，慢慢地再来改进。在这里再梳理一下吧！ 线性回归（Linear Regression） 给定一些数 ...
分类：
其他好文 时间：
2017-03-12 15:29:11
阅读次数：
329
logistic回归的主要思想： 已知样本数目为m，特征(feature)数目为n。 给出假设h(X)=g(X*theta) g(z)是sigmiod函数：g(z)=1/(1+exp(-z)) 考虑分类器问题：Y取值为0或1，同样地，h(X)取值为0或1。 则P(y|x;theta)=h(x)^y* ...
分类：
其他好文 时间：
2017-03-10 20:37:27
阅读次数：
161
一、probit回归模型在R中，可以使用glm函数(广义线性模型)实现，只需将选项binomial选项设为probit即可，并使用summary函数得到glm结果的细节，但是和lm不同，summary对于广义线性模型并不能给出决定系数，需要使用pscl包中的pR2函数得到伪决定系数，然后再使用sum ...
分类：
编程语言 时间：
2017-03-09 19:45:50
阅读次数：
12260
1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。 讲义最初介绍了一个基本问题，然后引出了线性回 ...
分类：
其他好文 时间：
2017-03-02 15:21:47
阅读次数：
340
本文对应《R语言实战》第13章：广义线性模型 广义线性模型扩展了线性模型的框架，包含了非正态因变量的分析。 两种流行模型：Logistic回归（因变量为类别型）和泊松回归（因变量为计数型） glm()函数的参数 分布族 默认的连接函数 binomial (link = “logit”) gaussi ...
分类：
编程语言 时间：
2017-02-28 22:03:29
阅读次数：
845
一、问题引入首先，Logistic回归是一种广义的线性回归模型，主要用于解决二分类问题。比如，现在我们有N个样本点，每个样本点有两维特征x1和x2，在直角坐标系中画出这N个样本的散点图如下图所示，
...
分类：
编程语言 时间：
2017-02-19 18:53:06
阅读次数：
373
最近翻Peter Harrington的《机器学习实战》，看到Logistic回归那一章有点小的疑问。 作者在简单介绍Logistic回归的原理后，立即给出了梯度上升算法的code：从算法到代码跳跃的幅度有点大，作者本人也说了，这里略去了一个简单的数学推导。 那么其实这个过程在Andrew Ng的机 ...
分类：
系统相关 时间：
2017-02-14 00:58:06
阅读次数：
355
