1.1 逻辑回归算法
1.1.1 基础理论
logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。
它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。当然了，把大值压缩到这...
分类：
编程语言 时间：
2015-05-07 18:55:51
阅读次数：
391
12.4 置换检验点评除coin和lmPerm包外，R还提供了其他可做置换检验的包。perm包能实现coin包中的部分功能，因此可作为coin包所得结果的验证。corrperm包提供了有重复测量的相关性的置换检验。logregperm包提供了Logistic回归的置换检验。另外一个非常重要的包是gl...
分类：
其他好文 时间：
2015-05-05 01:14:42
阅读次数：
414
回归概述（个人理解的总结）回归是数学中的一种模拟离散数据点的数学模型的方法，拟合一个连续的函数从而可以对未知的离散数据点进行分类或预测。这种方法有一个统一的形式，给定nn维特征的数据集合，对任意一个数据点Xi={x(1)i，x(2)i，...,x(n)i}X_i=\{x_i^{(1)}，x_i^{(2)}，...,x_i^{(n)}\}的每个维度都有一个回归系数wiw_i与之对应，整个模型就存在一个...
分类：
其他好文 时间：
2015-04-30 20:11:04
阅读次数：
121
Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。由于，如果，那么得到现在我们要找一组，使得所有的最接近，设现在我们要找一组，使得最小。这就是今天要介绍的...
分类：
编程语言 时间：
2015-04-25 11:56:04
阅读次数：
253
假设现在有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程称作回归。利用logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。基于Logistic回归和Sigmoid函数的分类我们想要的函数应该是，能接受所有的输入然后预测出类别。在两个分类的情况下，上...
分类：
其他好文 时间：
2015-04-20 16:18:45
阅读次数：
145
什么叫做回归呢？举个例子，我们现在有一些数据点，然后我们打算用一条直线来对这些点进行拟合（该曲线称为最佳拟合曲线），这个拟合过程就被称为回归。利用Logistic回归进行分类的主要思想是：
根据现有数据对分类边界线建立回归公式，以此进行分类。
这里的”回归“一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的嘴阀就是寻找最佳拟合曲线，使用的是最优化算法。基于Logistic回归和Sigmo...
分类：
其他好文 时间：
2015-04-18 17:48:11
阅读次数：
171
牛顿方法本次课程大纲：1、牛顿方法：对Logistic模型进行拟合2、指数分布族3、广义线性模型（GLM）：联系Logistic回归和最小二乘模型复习：Logistic回归：分类算法假设给定x以为参数的y=1和y=0的概率：求对数似然性：对其求偏导数，应用梯度上升方法，求得：本次课程介绍的牛顿方法是...
分类：
其他好文 时间：
2015-04-11 14:49:46
阅读次数：
166
欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3的延伸，简要讲复习：–第i个训练样本令，以参数向量为条件，对于输入x，输出为：n为特征数量定义成本函数J，定义为：m为训...
分类：
其他好文 时间：
2015-04-11 14:49:45
阅读次数：
193
生成学习算法本次课程大纲：1、生成学习算法2、高斯判别分析（GDA，Gaussian Discriminant Analysis）-高斯分布（简要）-对比生成学习算法&判别学习算法（简要）3、朴素贝叶斯4、Laplace平滑复习：分类算法：给出一个训练集，若使用logistic回归算法，其工作方式是...
分类：
编程语言 时间：
2015-04-11 14:48:14
阅读次数：
209
1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
