指数分布族形式：应用：1. logistic 回归：
logistics 回归其实是伯努利分布。p(y;θ)=θy?(1?θ)1?yp(y;\theta) = \theta^y * (1-\theta)^{1-y} . 其中θ\theta可以看做hθ(x)h_\theta(x)
伯努利分布是指数分布的一个特列：
其中：
η=log(θ1?θ)\eta = log(\frac\theta{...
分类：
其他好文 时间：
2015-06-21 13:16:24
阅读次数：
239
简单易学的机器学习算法——EM算法一、机器学习中的参数估计问题 在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，采用了极大似然函数对其模型中的参数进行估计，简单来讲即对于一系列样本，Logistic回归问题属于监督型学习问题，样本中含有训练的特征以及标签，在Logistic....
分类：
编程语言 时间：
2015-06-21 11:50:17
阅读次数：
417
logistic 回归1.问题：在上面讨论回归问题时，讨论的结果都是连续类型，但如果要求做分类呢？即讨论结果为离散型的值。2.解答：
假设：
其中：
g(z)g(z)的图形如下：
由此可知：当hθ(x)h_\theta(x)<0.5时我们可以认为为0，反之为1，这样就变成离散型的数据了。
推导迭代式：利用概率论进行推导，找出样本服从的分布类型，利用最大似然法求出相应的θ\theta因此：...
分类：
其他好文 时间：
2015-06-21 09:24:34
阅读次数：
137
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
梯度下降例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：
根据给出的数据得到函数...
分类：
其他好文 时间：
2015-06-20 17:06:49
阅读次数：
207
http://blog.csdn.net/abcjennifer/article/details/8164315本文从统计学角度讲解了CART（Classification And Regression Tree）, Bagging(bootstrap aggregation), Random Fo...
分类：
其他好文 时间：
2015-06-20 17:04:28
阅读次数：
150
softmax回归用来解决K类分类问题，其实就是logistic回归的扩展。注意：1.对于sigmod函数g(x)，当x∈[-1,1]时效果比较好。所以先把样本数据进行归一化(本例中就是对每一个数都除以10)2.这次的参数θ不再是一维的向量了而是二维的矩阵: tt[1..CLS][1..LEN] ....
分类：
其他好文 时间：
2015-06-20 00:19:19
阅读次数：
278
深度神经网络结构以及Pre-Training的理解Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种：①解优化多...
分类：
其他好文 时间：
2015-06-19 18:29:17
阅读次数：
227
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
回归问题(Regression)例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：...
分类：
其他好文 时间：
2015-06-19 10:40:03
阅读次数：
180
LR回顾
LR是机器学习入门的第一道坎，总结一下，Linear Regression 和logistic Regression都是属于GLM，套了logistic之后，输出结果就变成一个概率了，loss function和 likelihood function取反是类似的东西，都可以作为优化的目标。但我感觉 likelihood
function从概率统计上来说，更有理论支持吧。loss ...
分类：
其他好文 时间：
2015-06-15 00:19:46
阅读次数：
465
代码： 1 import numpy as np 2 import csv 3 import math as mt 4 5 def hypo(tt,xx): #hypothesis函数 6 exp=mt.e 7 tmp=0.0 8 for i in range...
分类：
其他好文 时间：
2015-06-14 18:11:23
阅读次数：
141
