梯度下降、神经网络、BP神经网络，以及结合前述知识实际应用。文章走马观花把这几天学的知识滤了一遍，主要是有很多好的资料
分类：
其他好文 时间：
2014-07-22 22:40:35
阅读次数：
273
本讲主要说一下逻辑回归中的几个问题和具体的参数求解方法
1. 什么是逻辑回归
2. 正则化项
3. 最小二乘法和最大似然法
4. java实现梯度下降法
实验：
样本：
-0.017612 14.053064 0
-1.395634 4.662541 1
-0.752157 6.538620 0
-1.322371 7.152853 0
0.423363 11.054677 0
0....
分类：
编程语言 时间：
2014-07-01 11:13:11
阅读次数：
386
Martin A. Zinkevich 等人（Yahoo！Lab）合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法，并给出了相应的收敛性分析。这里忽略理论部分，根据自己的理解给出文中所提并行随机...
分类：
其他好文 时间：
2014-06-25 22:06:05
阅读次数：
417
线性回归(Linear Regression)问题属于监督学习（Supervised Learning）范畴，又称分类（Classification）或归纳学习(Inductive Learning);这类分析中训练数据集中给出的数据类标是确定的；机器学习的目标是，对于给定的一个训练数据集，通过不断的分析和学习产生一个联系属性集合和类标集合的分类函数(Classification Function)或预测函数(Prediction Function),这个函数称为分类模型(Classification Mo...
分类：
其他好文 时间：
2014-06-24 22:58:23
阅读次数：
585
Martin A. Zinkevich 等人（Yahoo！Lab）合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法，并给出了相应的收敛性分析。这里忽略理论部分，根据自己的理解给出文中所提并行随机梯度下降法的描述。...
分类：
其他好文 时间：
2014-06-24 22:53:45
阅读次数：
261
使用MATLAB尝试了随机梯度下降的矩阵分解方法，实现了一个比较简单的推荐系统的原理。常用推荐系统的方法有协同过滤， 基于物品内容过滤等等。这次是用的矩阵分解模型属于协同过滤的一种方法，大致原理是通过一定数量的因子来描述各个用户的喜好和各个物品的属性。通过随机梯度下降法分解后得到两个矩阵，一个是用....
分类：
其他好文 时间：
2014-06-21 07:17:05
阅读次数：
346
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD，该方法通过分布式地部署多个模型副本和一个“参数服务器”，同时实现了模型并行和数据并行，且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题...
分类：
其他好文 时间：
2014-06-18 00:55:39
阅读次数：
433
