隐语义模型：物品 表示为长度为k的向量q（每个分量都表示 物品具有某个特征的程度）用户兴趣 表示为长度为k的向量p（每个分量都表示 用户对某个特征的喜好程度）用户u对物品i的兴趣可以表示为 其损失函数定义为- 使用随机梯度下降，获得参数p,q负样本生成：对于只有正反馈信息（用户收藏了，关注了...
分类：
其他好文 时间：
2015-04-09 23:26:50
阅读次数：
476
ALS矩阵分解推荐模型
其实通过模型来预测一个user对一个item的评分，思想类似线性回归做预测，大致如下
定义一个预测模型（数学公式），
然后确定一个损失函数，
将已有数据作为训练集，
不断迭代来最小化损失函数的值，
最终确定参数，把参数套到预测模型中做预测。
矩阵分解的预测模型是：
损失函数是：
我们就是要最小化损失函数，从而求得参...
分类：
其他好文 时间：
2015-03-05 22:24:01
阅读次数：
545
本章节主要讲解Logistic回归的原理及其数学推导，Logistic有3种不同的表达形式，现在我就一一展开这几种不同的形式，以及它在分类中的效果。并比较这三种形式。
下面分别写出这三种形式的损失函数：
下面分别写出这三种损失函数的梯度形式：
其中第一种形式和第三种形式是等价的,推导如下:
Steepest descent
前面章节已经讲过最速...
分类：
系统相关 时间：
2015-02-17 14:10:19
阅读次数：
344
参考博客 Liam Q博客 和李航的《统计学习方法》感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1....
分类：
编程语言 时间：
2014-12-25 21:57:06
阅读次数：
252
学习排序算法（二）：Pairwise方法之RankNet
前面一篇博文介绍的Ranking SVM是把LTR问题转化为二值分类问题，而RankNet算法是从另外一个角度来解决，那就是概率的角度。
1. RankNet的基本思想
RankNet方法就是使用交叉熵作为损失函数，学习出一些模型（例如神经网络、决策树等）来计算每个pair的排序得分，学习模型的过程可以使用梯度下降法。...
分类：
编程语言 时间：
2014-12-24 16:21:32
阅读次数：
1832
考虑一个代价函数C , 它根据参数向量
计算出当前迭代模型的代价，记作C().
机器学习中，我们的任务就是得到代价的最小值，在机器学习中代价函数通常是损失函数的均值，或者是它的数学期望。见下图：
这个叫做泛化损失，在监督学过程中，我们知道z=(x,y) ,并且 f（x)
是对y的预测。
什么是这里的梯度呢？
当 是标量的时候，代价函数的梯度可表示如下：
当...
分类：
其他好文 时间：
2014-12-17 22:43:44
阅读次数：
323
本文主要从一个例子开始说说线性回归模型以及线性回归模型的损失函数，求解方法和概率解释。不涉及统计学里的回归分析等诸多细节。例子：假设我们中介手上有一些房屋销售的数据（北京的房价太高了）：面积(平方米)价格（万）8032090365100380120400150500有个人有个130平方米的房子要卖，...
分类：
其他好文 时间：
2014-11-20 20:14:07
阅读次数：
281
感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下：f(x)= sig.....
分类：
其他好文 时间：
2014-11-15 20:14:01
阅读次数：
345
caffe的损失函数，目前已经囊括了所有可以用的了吧，损失函数由激活函数决定，同时有时会加入regularization,在BP过程中，使得误差传递得以良好运行。contrastive_loss，对应contrastive_loss_layer，我看了看代码，这个应该是输入是一对用来做验证的数据，比...
分类：
其他好文 时间：
2014-11-13 10:42:15
阅读次数：
435
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function
损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) ...
分类：
其他好文 时间：
2014-11-08 19:39:59
阅读次数：
331
