梯度下降法的基本思想是函数沿着其梯度方向增加最快，反之，沿着其梯度反方向减小最快。在前面的线性回归和逻辑回归中，都采用了梯度下降法来求解。梯度下降的迭代公式为：θj=θj?α?J(θ)?θj 在回归算法的实验中，梯度下降的步长α为0.01，当时也指出了该步长是通过多次时间找到的，且换一组数据后，.....
分类：
其他好文 时间：
2015-04-20 22:22:53
阅读次数：
972
梯度下降法存在的问题 梯度下降法的基本思想是函数沿着其梯度方向增加最快，反之，沿着其梯度反方向减小最快。在前面的线性回归和逻辑回归中，都采用了梯度下降法来求解。梯度下降的迭代公式为：\(\begin{aligned} \theta_j=\theta_j-\alpha\frac{\partial\;....
分类：
其他好文 时间：
2015-04-20 16:26:05
阅读次数：
3950
今天看到共轭梯度法的两种实现，一种称为fletcher-reeves（FR-CG）方法，另一种称为polak-ribiere（PR-CG）方法。在含体积蒙皮的模拟过程中，两者差别不大又对比了wolfe的c1，c2取值，发现c2取0.1时，共轭梯度法在初始阶段收敛较取0.45时快，但后期收敛慢在不含体...
分类：
其他好文 时间：
2015-04-20 06:53:47
阅读次数：
128
1、HOG特征： 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得...
分类：
其他好文 时间：
2015-04-17 13:41:09
阅读次数：
155
上一章中我们简单介绍了机器学习的大概情况，今天我们开始循序渐进地学习机器学习中相关的算法。在接触经典算法之前，我们先来了解下“梯度下降”算法。一、算法背景
作为一个算法演示的背景，我们还是采用上一章中提到的房屋价格和房屋大小的关系问题，不同大小的房屋对应不同..
分类：
编程语言 时间：
2015-04-15 15:04:33
阅读次数：
133
这个代码写了两天，从没思路到有思路，还好最终搞定了~不过这个进程数必须为2^n个。
先贴一个运行截图：
-module(exe4).
-export([start/5]).start(F,X1,X2,Num,Cores)
->spawn(fun()->parent_proces(F,X1,X2,Num,Cores) end),
io:format("").parent_proce...
分类：
其他好文 时间：
2015-04-14 00:47:01
阅读次数：
232
随机森林和GBTs都是集成学习算法，它们通过集成多棵决策树来实现强分类器。
集成学习方法就是基于其他的机器学习算法，并把它们有效的组合起来的一种机器学习算法。组合产生的算法相比其中任何一种算法模型更强大、准确。
随机森林和梯度提升树(GBTs)。两者之间主要差别在于每棵树训练的顺序。
随机森林通过对数据随机采样来单独训练每一棵树。这种随机性也使得模型相对于单决策树更健壮，...
分类：
其他好文 时间：
2015-04-13 22:59:00
阅读次数：
892
这节课的学习，相信一般上过统计或者运筹相关课程的同学应该都会有所了解。课上涉及的知识虽然很基础，但是也是很重要的。 在搜集了一些房价相关数据的基础上，利用线性回归算法来预测房价。 为了方便算法的训练推导，进行了很多符号的标准规定，从这当中也学到了一些知识，以后自己在进行一些算法的推导时也可学...
分类：
其他好文 时间：
2015-04-13 22:52:06
阅读次数：
203
牛顿方法本次课程大纲：1、牛顿方法：对Logistic模型进行拟合2、指数分布族3、广义线性模型（GLM）：联系Logistic回归和最小二乘模型复习：Logistic回归：分类算法假设给定x以为参数的y=1和y=0的概率：求对数似然性：对其求偏导数，应用梯度上升方法，求得：本次课程介绍的牛顿方法是...
分类：
其他好文 时间：
2015-04-11 14:49:46
阅读次数：
166
【总目录】http://www.cnblogs.com/tbcaaa8/p/4415055.html1. 梯度下降法梯度下降法是一种用来寻找函数最小值的算法。算法的思想非常简单：每次沿与当前梯度方向相反的方向走一小步，并不断重复这一过程。举例如下：[例]使用梯度下降法，求的最小值。第一步：求解迭代格...
分类：
系统相关 时间：
2015-04-11 01:15:47
阅读次数：
199
