1. 参数VS非参数 给定样本集 $(x_i, y_i), i= 1,2,\cdots, n $,其中 $x_i$ 表示特征向量, $y_i$ 表示样本标签。 考虑一个新的向量 $x$,要将他分类到可选分类 ${C_1, C_2,\cdots, C_c}$中 。 方法: 参数的 非参数的 1.1 参 ...
分类:
其他好文 时间:
2018-04-07 12:45:56
阅读次数:
160
前言 这里讨论的优化问题指的是,给定目标函数f(x),我们须要找到一组參数x。使得f(x)的值最小。 本文下面内容如果读者已经了解机器学习基本知识,和梯度下降的原理。 SGD SGD指stochastic gradient descent,即随机梯度下降。是梯度下降的batch版本号。 对于训练数据 ...
分类:
其他好文 时间:
2018-03-29 17:25:43
阅读次数:
272
转载:http://blog.csdn.net/lujiandong1/article/details/53320174 在本章中,我们尝试使用我们犹如苦力般的学习算法——基于反向传播随机梯度下降来训练深度网络。但是这会产生问题,因为我们的深度神经网络并不能比浅层网络性能好太多。 1.如果说,深度学 ...
分类:
其他好文 时间:
2018-03-11 20:57:58
阅读次数:
903
参考资料: 【1】 Spark MLlib 机器学习实践 【2】 机器学习之梯度下降 http://www.cnblogs.com/rcfeng/p/3958926.html 【3】 统计学习方法 1、回归分析概念 在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最 ...
分类:
其他好文 时间:
2018-03-03 12:19:09
阅读次数:
168
在梯度下降法中,批量指的是用于在单次迭代中计算梯度的样本总数。到目前为止,我们一直假定批量是指整个数据集。就 Google 的规模而言,数据集通常包含数十亿甚至数千亿个样本。此外,Google 数据集通常包含海量特征。因此,一个批量可能相当巨大。如果是超大批量,则单次迭代就可能要花费很长时间进行计算 ...
分类:
其他好文 时间:
2018-03-02 22:08:04
阅读次数:
131
Hulu优秀的作者们每天和公式抗争,只为提升你们的技能,感动的话就把文章看完,然后哭一个吧。 今天的内容是 【随机梯度下降法】 场景描述 深度学习得以在近几年迅速占领工业界和学术界的高地,重要原因之一是数据量的爆炸式增长。如下图所示,随着数据量的增长,传统机器学习算法的性能会进入平台期,而深度学习算 ...
分类:
其他好文 时间:
2018-02-27 23:40:05
阅读次数:
401
老朋友了,还用多说什么吗?点击下面的链接复习咯: 17. 随机梯度下降算法之经典变种 18. SVM—核函数与松弛变量 19. 主题模型 20. PCA最小平方误差理论 21. 分类、排序、回归模型的评估 22. 特征工程—结构化数据 23. 神经网络训练中的批量归一化 24. 随机梯度下降法 你可 ...
分类:
其他好文 时间:
2018-02-27 21:32:28
阅读次数:
212
这是本周第二篇机器学习,也是Hulu面试题系列的第十七篇了~ 之前的所有内容都可以在菜单栏的“机器学习”中找到,愿你温故,知新。 今天的内容是 【随机梯度下降算法之经典变种】 场景描述 提到Deep Learning中的优化方法,人们都会想到Stochastic Gradient Descent ( ...
分类:
编程语言 时间:
2018-02-27 21:29:51
阅读次数:
675
线性回归 首先要明白什么是回归。回归的目的是通过几个已知数据来预测另一个数值型数据的目标值。 假设特征和结果满足线性关系,即满足一个计算公式h(x),这个公式的自变量就是已知的数据x,函数值h(x)就是要预测的目标值。这一计算公式称为回归方程,得到这个方程的过程就称为回归。 假设房子的房屋面积和卧室 ...
分类:
编程语言 时间:
2018-02-20 17:30:31
阅读次数:
327
1.代码没有引入深度学习包,实现了简单的随机梯度下降算法。 2.理论较简单。 # coding:utf8 # Author:Chaz import sys,time import numpy as np g = open("reviews.txt","r") reviews = list(map(l ...
分类:
其他好文 时间:
2018-02-04 19:27:17
阅读次数:
250