线性模型通过特征间的现行组合来表达“结果-特征集合”之间的对应关系。由于线性模型的表达能力有限，在实践中，只能通过增加“特征计算”的复杂度来优化模型。比如，在广告CTR预估应用中，除了“标题长度、描述长度、位次、广告id，cookie“等这样的简单原始特征，还有大量的组合特征（比如”位次-cooki...
分类：
Web程序 时间：
2015-07-16 22:09:57
阅读次数：
265
一直听闻Logistic Regression逻辑回归的大名，比如吴军博士在《数学之美》中提到，Google是利用逻辑回归预测搜索广告的点击率。因为自己一直对个性化广告感兴趣，于是疯狂google过逻辑回归的资料，但没有一个网页资料能很好地讲清到底逻辑回归是什么。幸好，在CS229第三节课介绍了逻辑...
分类：
其他好文 时间：
2015-07-16 16:22:02
阅读次数：
268
逻辑回归是广义线性模型的一种特殊情况，但是在前面这篇http://blog.csdn.net/zhangzhengyi03539/article/details/46574803 讲逻辑回归的时候没有说明为什么要采用单极型函数，这篇文章将会从浅入深的讲解一下广义线性模型。
首先来说一下指数分布族。...
分类：
其他好文 时间：
2015-07-11 09:18:34
阅读次数：
150
在前面几篇中分类问题和回归问题里涉及到的伯努利分布和高斯分布都是广义线性模型（Generative Linear Models.GLMs）的特例。下面将详细介绍广义线性模型。
1、指数族
我们可以将一些分布总结到一个指数族中。指数族可表示为：
η是指naturalparameter/canonical parameter，T (y)是指sufficientstatistic...
分类：
其他好文 时间：
2015-07-07 22:57:28
阅读次数：
246
本文主要讲解基本最小二乘法和带有约束条件的最小二乘法。
一 基本最小二乘法
最小二乘法是回归中最为基础的算法。它是对模型的输出和训练样本输出的平方误差（这里还乘以了1/2只是为了求导简化）为最小时的参数 进行学习。
特别地，对于线性模型有：
求导可得：
其中设计矩阵：
%基本最小二乘法
clear all;
close all;
n = 50;
N ...
分类：
其他好文 时间：
2015-07-04 23:34:03
阅读次数：
157
这一节讲线性模型，先将几种线性模型进行了对比，通过转换误差函数来将linear regression 和logistic regression 用于分类。比较重要的是这种图，它解释了为何可以用Linear Regression或Logistic Regression来替代Linear Classif...
分类：
其他好文 时间：
2015-06-27 15:46:40
阅读次数：
138
课程2课程2
归纳
回归就是变量之间的关系
相关系数
RSS
线性回归通过R语言
多元线性模型
虚拟变量哑变量
多元线性回归模型
回归诊断
广义线性模型一元以及多元的线性回归，统计学东西比较多，统计学术语一堆堆的
《大数据的统计学基础》基础的基础
logistic回归，划入广义线性回归模型。
变量筛选，从一堆变量中求解出来，以及降维。
1.归纳拟合，一般选择直线或者次数比较低得曲线。（测试有误差，曲...
分类：
其他好文 时间：
2015-06-26 13:04:58
阅读次数：
263
Setting up the data and the model前面我们介绍了一个神经元的模型，通过一个激励函数将高维的输入域权值的点积转化为一个单一的输出，而神经网络就是将神经元排列到每一层，形成一个网络结构，这种结构与我们之前介绍的线性模型不太一样，因此score function也需要重新定义，神经网络实现了一系列的线性映射与非线性映射，这一讲，我们主要介绍神经网络的数据预处理以及score...
分类：
Web程序 时间：
2015-06-24 16:23:40
阅读次数：
211
指数分布族形式：应用：1. logistic 回归：
logistics 回归其实是伯努利分布。p(y;θ)=θy?(1?θ)1?yp(y;\theta) = \theta^y * (1-\theta)^{1-y} . 其中θ\theta可以看做hθ(x)h_\theta(x)
伯努利分布是指数分布的一个特列：
其中：
η=log(θ1?θ)\eta = log(\frac\theta{...
分类：
其他好文 时间：
2015-06-21 13:16:24
阅读次数：
239
R语言glm函数学习： 【转载时请注明来源】：http://www.cnblogs.com/runner-ljt/ Ljt 作为一个初学者，水平有限，欢迎交流指正。glm函数介绍：glm(formula, family=family.generator, data,control = list(.....
分类：
其他好文 时间：
2015-06-14 16:30:07
阅读次数：
1235
