GBDT算法有两种描述思路，一个是基于残差的版本，一个是基于梯度gradient的版本。这篇我们先说说基于残差的版本。前面一篇博文已经说了该版本的大致原理，请参考。
http://blog.csdn.net/puqutogether/article/details/41957089这篇我们再总结一个几个注意点：
这个版本的核心思路：每个回归树学习前面树的残差，并且用shrinkage把学习到的结果...
分类：
编程语言 时间：
2015-03-30 18:55:08
阅读次数：
309
这篇博客针对的AndrewNg在公开课中未讲到的，线性回归梯度下降的学习率进行讨论，并且结合例子讨论梯度下降初值的问题。线性回归梯度下降中的学习率上一篇博客中我们推导了线性回归，并且用梯度下降来求解线性回归中的参数。但是我们并没有考虑到学习率的问题。我们还是沿用之前对于线性回归形象的理解：你站在山顶...
分类：
系统相关 时间：
2015-03-29 00:33:32
阅读次数：
300
感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
感知机应该是机器学习里面最简单的模型了。读一遍文章也能理解作者想表达的意思。因为以前像梯度下降，多项式拟合，神经网络都在Andrew Ng的公开课上看过了。但是真正关于书中的公式却不怎么理解。一些简单的作者也没有推导。毕竟这是机器学习，不是微积分，或者线性代数，或者概率论。微积分，概率论，...
分类：
其他好文 时间：
2015-03-17 21:34:04
阅读次数：
296
在数字图像处理中，图像的形态学变换占有很重要的地位。基本的形态转换就是膨胀和腐蚀，它们能实现多种功能：例如消除噪声、分割出独立的图像元素以及在图像中连接相邻的元素。当然形态学也常备用于求出图像的梯度。
一. 关键函数介绍
下面就介绍OpenCV中对图像进行二值化的关键函数
cvErode()
函数功能：对图像进行腐蚀
函数原型：void
cvErode( const ...
分类：
其他好文 时间：
2015-03-16 16:35:13
阅读次数：
242
f:\python_workspace\SGD>python gd.py
[ 5.68071667 -21.54721046]
[ 4.54457333 -17.23776836]
[ 3.63565867 -13.79021469]
[ 2.90852693 -11.03217175]
[ 2.32682155 -8.8257374 ]
[ 1.86145724 -7.060...
分类：
其他好文 时间：
2015-03-15 22:59:39
阅读次数：
155
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。
固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则...
分类：
编程语言 时间：
2015-03-15 00:52:06
阅读次数：
1015
商品的价格定位：（1）尽量覆盖多的人群：同类商品设置多个品种，尽量覆盖更多的人群，让各个阶层的人都能够买的起（2）功能底线：底层的比较功能，中层比较实用兼顾美观，高层只管美观（因为功能肯定是没有问题的）。（3）价格诱惑：为了发现潜在的购买用户，需要尽力将用户的购买区间往上提升，这样提高收入。如果界定...
分类：
其他好文 时间：
2015-03-14 15:13:51
阅读次数：
112
一种新的基于相位信息的活动轮廓模型摘 要 传统的基于边缘检测的几何活动轮廓模型利用图像梯度信息进行边缘检测，对图像噪声极其敏感， 对弱边缘的捕捉能力较差，容易造成边缘泄露。本文提出的模型采用了一种新的基于图像相位信息的边缘检测函数，并且加入了一个额外的边缘定位能量项。与传统模型相比，本文模型对噪声的...
分类：
编程语言 时间：
2015-03-12 22:04:32
阅读次数：
220
下面是转载的内容，主要是介绍逻辑回归的理论知识，先总结一下自己看完的心得
简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果，逻辑回归则是这样的结果上加上一个逻辑函数
这里选用的就是Sigmoid函数，在坐标尺度很大的情况下类似于阶跃函数
在确认特征对应的权重值也就是回归系数的时候
最常用的方法是最大似然法，EM参数估计，这个是在一阶导数能够有解的前提下
如果一阶导数无法...
分类：
其他好文 时间：
2015-03-06 15:58:28
阅读次数：
59135
