Softmax回归就是推广版本的逻辑回归。
只不过逻辑回归是个2分类问题，而Softmax是多分类问题，仅此而已。
Softmax回归在2分类情况下就蜕化成了逻辑回归。
逻辑回归的代价函数
考虑到权重衰减，修改一下就是Softmax回归的代价函数了
这里的权重衰减项是必须的，因为原先的代价函数不是严格凸函数，有无穷个极小值。现在加了这个权重衰减项，函数变成了严格凸函数。L...
分类：
数据库 时间：
2014-08-12 17:10:34
阅读次数：
502
ufldl学习笔记与编程作业：Logistic Regression（逻辑回归）
ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。
在deep learning高质量群里面听一些前辈说，不必深究其他机器学习的算法，可以直接来学dl。
于是最近就开始搞这个了，教程加上matlab编程，就是完美啊。
新教程的地址是：http://ufldl.stanford.edu/tutorial/
ufldl出了新教程，感觉比之前的好，从基础讲起，系统清晰，又有编程实践。
在deep ...
分类：
其他好文 时间：
2014-08-05 22:43:40
阅读次数：
346
2014-07-2110:28:34首先PO上主要Python代码(2.7), 这个代码在Deep Learning上可以找到. 1 # allocate symbolic variables for the data 2 index = T.lscalar() # index to...
分类：
编程语言 时间：
2014-07-22 00:29:38
阅读次数：
352
二元逻辑回归(Logistic Regression, LR)模型几率(odds:对数形式：基于LR的点击率预測Where, x代表一个(query, ad)相应的特征向量, y 属于{1,0}分别代表点击和不点击，p(y=1|x)就代 表给定query下，某ad的点击率点击率预測特征广告创意特征：...
分类：
其他好文 时间：
2014-07-16 16:48:53
阅读次数：
192
下载链接：斯坦福机器学习笔记
这一系列笔记整理于2013年11月至2014年7月。所有内容均是个人理解，做笔记的原因是为了以后回顾相应方法时能快速记起，理解错误在所难免，不合适的地方敬请指正。
笔记按照斯坦福机器学习公开课的notes整理，其中online学习部分没有整理，reinforcement learning还没接触，有时间补上。
这份笔记主要记录自己学习过程中理解上的难点，所以对于...
分类：
其他好文 时间：
2014-07-12 22:52:36
阅读次数：
401
本讲主要说一下逻辑回归中的几个问题和具体的参数求解方法
1. 什么是逻辑回归
2. 正则化项
3. 最小二乘法和最大似然法
4. java实现梯度下降法
实验：
样本：
-0.017612 14.053064 0
-1.395634 4.662541 1
-0.752157 6.538620 0
-1.322371 7.152853 0
0.423363 11.054677 0
0....
分类：
编程语言 时间：
2014-07-01 11:13:11
阅读次数：
386
概要
并没有觉得这是篇高质量的文章，很奇怪为什么能够发表在AAAI上面。
文章的创新点比较单薄：在传统点击率预测模型（LR）的基础上加入了两类新的特征，一个是位置特征，一个是广告上下文特征——即和它并排展示的其他广告的特征
具体内容
1. 建模
文章中，作者用了两种模型：
（1）逻辑回归模型
作者用0-1特征，将位置信息作为一个种特征加入到模型当中；输出结果也...
分类：
其他好文 时间：
2014-06-18 00:29:38
阅读次数：
191
什么是回归？假设现在有些数据点，我用直线对这些点进行拟合（该线叫做最佳拟合直线），这个拟合的过程就叫做回归。Logistic回归？这里，Logistic回归进行分类的主要思想：根据现有数据对分类的边界线建立回归公式，以此边界线进行分类。这里的回归指的是最佳拟合，就是要找到边界线的回归公式的最佳拟合的...
分类：
其他好文 时间：
2014-06-17 12:52:30
阅读次数：
648
概要：
微软研究院的人写的文章，提出用逻辑回归来解决ctr预估问题，是以后ctr的经典解决方案，经典文章。
具体内容：
名词：
CPC —— cost per click
CTR —— click through rate
1. 研究初衷
搜索引擎主要靠商业广告收入，在广告位上面打广告，用户点击，之后广告商付费。在通用搜索引擎，通常广告位置是在搜索结果...
分类：
其他好文 时间：
2014-06-15 15:29:24
阅读次数：
416
theano 实例， 逻辑回归（logistic regression)# -*-
coding: utf-8 -*-"""Created on Fri Jun 06 08:56:54 2014@author:
Administrator"""import theanoimport numpy as...
分类：
其他好文 时间：
2014-06-11 12:14:52
阅读次数：
922
