逻辑回归是广义线性模型的一种特殊情况，但是在前面这篇http://blog.csdn.net/zhangzhengyi03539/article/details/46574803 讲逻辑回归的时候没有说明为什么要采用单极型函数，这篇文章将会从浅入深的讲解一下广义线性模型。
首先来说一下指数分布族。...
分类：
其他好文 时间：
2015-07-11 09:18:34
阅读次数：
150
A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin...
分类：
其他好文 时间：
2015-07-04 22:20:10
阅读次数：
283
引入随着深度学习的出现，CV领域突破很多，甚至掀起了一股CV界的创业浪潮，当次风口浪尖之时，Google岂能缺席。贡献出FaceNet再刷LFW上人脸验证的效果新高
FaceNet与其他的深度学习方法在人脸上的应用不同，并没有用传统的softmax的方式去进行分类学习，然后抽取其中某一层作为特征，而是直接进行端对端学习一个从图像到欧式空间的编码方法，然后基于这个编码再做人脸识别、人脸验证和人脸聚类。...
分类：
Web程序 时间：
2015-06-29 22:15:38
阅读次数：
17456
ufldl学习笔记与编程作业：Softmax Regression（softmax回归）ufldl出了新教程。感觉比之前的好，从基础讲起。系统清晰，又有编程实践。在deep learning高质量群里面听一些前辈说，不必深究其它机器学习的算法，能够直接来学dl。于是近期就開始搞这个了。教程加上mat...
分类：
其他好文 时间：
2015-06-26 21:05:26
阅读次数：
147
MNIST是一套对手写数字进行识别的数据集：http://yann.lecun.com/exdb/mnist/MNIST的数据结构官网上已给出，挺奇葩的-.-，所以第一件事是把数据整理出来我写了个脚本帮我整理，输出的是一坨文本文件，【其中image是用灰度矩阵表示，每个像素1字节，每张图28x28 ...
分类：
其他好文 时间：
2015-06-21 18:29:51
阅读次数：
169
指数分布族形式：应用：1. logistic 回归：
logistics 回归其实是伯努利分布。p(y;θ)=θy?(1?θ)1?yp(y;\theta) = \theta^y * (1-\theta)^{1-y} . 其中θ\theta可以看做hθ(x)h_\theta(x)
伯努利分布是指数分布的一个特列：
其中：
η=log(θ1?θ)\eta = log(\frac\theta{...
分类：
其他好文 时间：
2015-06-21 13:16:24
阅读次数：
239
softmax回归用来解决K类分类问题，其实就是logistic回归的扩展。注意：1.对于sigmod函数g(x)，当x∈[-1,1]时效果比较好。所以先把样本数据进行归一化(本例中就是对每一个数都除以10)2.这次的参数θ不再是一维的向量了而是二维的矩阵: tt[1..CLS][1..LEN] ....
分类：
其他好文 时间：
2015-06-20 00:19:19
阅读次数：
278
深度神经网络结构以及Pre-Training的理解Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种：①解优化多...
分类：
其他好文 时间：
2015-06-19 18:29:17
阅读次数：
227
此次主要由自我学习过度到深度学习，简单记录如下：
(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。
(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。
(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类)，采用逐层贪婪的训练方法得到初始的参数，这...
分类：
其他好文 时间：
2015-06-11 14:41:24
阅读次数：
594
1：softmax回归
当p(y|x,theta)满足多项式分布，通过GLM对其进行建模就能得到htheta(x)关于theta的函数，将其称为softmax回归。教程中已经给了cost及gradient的求法。需要注意的是一般用最优化方法求解参数theta的时候，采用的是贝叶斯学派的思想，需要加上参数theta。
习题答案：
(1) 数据加载——————代码已给
(2) %% STEP ...
分类：
其他好文 时间：
2015-06-09 21:54:11
阅读次数：
226
