在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ，从而确定f(θ)。本篇将介绍另一种求解最大似然概率?(θ)的方法，即牛顿迭代法。
在牛顿迭代法中，假设一个函数是，求解θ值使得f(θ)=0。在图1中可知，
图1
选择一个点，对应函数值为,并将对应的切线与x轴相交的点记为，所以 ,依此类推可知牛顿迭代规律。
为了求得最大似然概率?(θ)，让,...
分类：
其他好文 时间：
2015-07-07 16:52:26
阅读次数：
249
SVM是用来解决非线性分类问题的。PART I 引入首先我们假设样本线性可分【稍后我们还会去掉这个假设】我们把之前logistic回归里面吗定义的那一坨稍微修改一下：令g(z)=1 (z>=0) or -1 (z=0由上式和约束条件可以得出：【证明：设存在w'使得gi(w')>0，那么就可以取...
分类：
其他好文 时间：
2015-07-05 16:27:41
阅读次数：
195
课程2课程2
归纳
回归就是变量之间的关系
相关系数
RSS
线性回归通过R语言
多元线性模型
虚拟变量哑变量
多元线性回归模型
回归诊断
广义线性模型一元以及多元的线性回归，统计学东西比较多，统计学术语一堆堆的
《大数据的统计学基础》基础的基础
logistic回归，划入广义线性回归模型。
变量筛选，从一堆变量中求解出来，以及降维。
1.归纳拟合，一般选择直线或者次数比较低得曲线。（测试有误差，曲...
分类：
其他好文 时间：
2015-06-26 13:04:58
阅读次数：
263
指数分布族形式：应用：1. logistic 回归：
logistics 回归其实是伯努利分布。p(y;θ)=θy?(1?θ)1?yp(y;\theta) = \theta^y * (1-\theta)^{1-y} . 其中θ\theta可以看做hθ(x)h_\theta(x)
伯努利分布是指数分布的一个特列：
其中：
η=log(θ1?θ)\eta = log(\frac\theta{...
分类：
其他好文 时间：
2015-06-21 13:16:24
阅读次数：
239
简单易学的机器学习算法——EM算法一、机器学习中的参数估计问题 在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，采用了极大似然函数对其模型中的参数进行估计，简单来讲即对于一系列样本，Logistic回归问题属于监督型学习问题，样本中含有训练的特征以及标签，在Logistic....
分类：
编程语言 时间：
2015-06-21 11:50:17
阅读次数：
417
softmax回归用来解决K类分类问题，其实就是logistic回归的扩展。注意：1.对于sigmod函数g(x)，当x∈[-1,1]时效果比较好。所以先把样本数据进行归一化(本例中就是对每一个数都除以10)2.这次的参数θ不再是一维的向量了而是二维的矩阵: tt[1..CLS][1..LEN] ....
分类：
其他好文 时间：
2015-06-20 00:19:19
阅读次数：
278
深度神经网络结构以及Pre-Training的理解Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种：①解优化多...
分类：
其他好文 时间：
2015-06-19 18:29:17
阅读次数：
227
代码： 1 import numpy as np 2 import csv 3 import math as mt 4 5 def hypo(tt,xx): #hypothesis函数 6 exp=mt.e 7 tmp=0.0 8 for i in range...
分类：
其他好文 时间：
2015-06-14 18:11:23
阅读次数：
141
此次主要由自我学习过度到深度学习，简单记录如下：
(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。
(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。
(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类)，采用逐层贪婪的训练方法得到初始的参数，这...
分类：
其他好文 时间：
2015-06-11 14:41:24
阅读次数：
594
转自：http://blog.csdn.net/dongtingzhizi/article/details/15962797Logistic回归总结作者：洞庭之子微博：洞庭之子-Bing（2013年11月）PDF下载地址：http://download.csdn.net/detail/lewsn20...
分类：
其他好文 时间：
2015-05-30 18:10:14
阅读次数：
205
