在前面几篇中分类问题和回归问题里涉及到的伯努利分布和高斯分布都是广义线性模型（Generative Linear Models.GLMs）的特例。下面将详细介绍广义线性模型。
1、指数族
我们可以将一些分布总结到一个指数族中。指数族可表示为：
η是指naturalparameter/canonical parameter，T (y)是指sufficientstatistic...
分类：
其他好文 时间：
2015-07-07 22:57:28
阅读次数：
246
FastByIdMap是基于散列的，在处理冲突时是线性探测而非分离链接，这样就不必为每一个条目增加一个Map.Entry对象，从而节省内存开销。
下面代码是一个线性探测Map的Demo：package com.example.mahout;public class ArrayHashST_Linear_Probing {
private int M = 30001;...
分类：
其他好文 时间：
2015-07-07 22:52:06
阅读次数：
163
Python source code:gradient_boosting_regression.pyfrom sklearn import ensemblefrom sklearn.metrics import mean_squared_error# Fit regression modelpara...
分类：
编程语言 时间：
2015-07-05 23:50:23
阅读次数：
166
Evernote的同步分享：Machine Learning—Linear Regression 版权声明：本文博客原创文章。博客，未经同意，不得转载。
分类：
系统相关 时间：
2015-07-05 16:15:35
阅读次数：
170
考虑dual SVM 问题：如果对原输入变量做了non-linear transform，那么在二次规划计算Q矩阵的时候，就面临着：先做转换，再做内积；如果转换后的项数很多（如100次多项式转换），那么耗费的时间就比较多。能否在计算Q矩阵这一步的时候，把transform+inner product...
分类：
系统相关 时间：
2015-07-05 11:03:58
阅读次数：
581
本文为《Kernel Logistic Regression and the Import Vector Machine》的阅读笔记是技法课的课外阅读Abstract:基于KLR kernel logistic regression，能自然延伸到多分类问题提供属于各类的概率也有类似support v...
分类：
系统相关 时间：
2015-07-04 23:30:28
阅读次数：
215
A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin...
分类：
其他好文 时间：
2015-07-04 22:20:10
阅读次数：
283
这节课内容介绍了SVM的核心。首先，既然SVM都可以转化为二次规划问题了，为啥还有有Dual啥的呢？原因如下：如果x进行non-linear transform后，二次规划算法需要面对的是d`+1维度的N个变量，以及N个约束如果d`的维度超大，那么二次规划解起来的代价就太大了。因此，SVM的精髓就在...
分类：
系统相关 时间：
2015-07-03 23:25:46
阅读次数：
723
首先从介绍了Large_margin Separating Hyperplane的概念。（在linear separable的前提下）找到largest-margin的分界面，即最胖的那条分界线。下面开始一步步说怎么找到largest-margin separating hyperplane。接下来...
分类：
系统相关 时间：
2015-07-02 22:21:01
阅读次数：
239
题目：Given an integer array of size n, find all elements that appear more than ? n/3 ? times. The algorithm should run in linear time and in O(1) space.
求出现次数大于三分之一数组的长度，所以最多就只有2个这样的元素，题目要求线性时间复杂度和常数的空...
分类：
编程语言 时间：
2015-07-01 23:47:42
阅读次数：
424
