最小值：梯度下降；最大值：梯度上升（1）批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小。（2）随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往...
分类：
其他好文 时间：
2014-09-14 15:12:47
阅读次数：
295
本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中，需要对模型的参数进行“惩罚”，这样的话这些参数就不会太大，而越小的参数说明模型越简单，越简单的模型则越不容易产...
分类：
其他好文 时间：
2014-09-12 16:54:53
阅读次数：
206
个人接触机器视觉的时间不长，对于机器学习在目标检测的大体的框架和过程有了一个初步的了解，不知道对不对，如有错误，请各位大牛不吝指点。目标的检测大体框架：目标检测分为以下几个步骤：1、训练分类器所需训练样本的创建： 训练样本包括正样本和负样本；其中正例样本是指待检目标样本(例如人脸或汽车等)，负样本指...
分类：
其他好文 时间：
2014-08-31 01:36:30
阅读次数：
269
首先来说明一下bootstraps：可以把它认为是一种有放回的抽样方法。bagging：boostraps aggregating（汇总）boosting：Adaboot （Adaptive Boosting）提示方法提升（boosting）：在分类问题中，通过改变训练样本的权重，学习多个分类器，并...
分类：
其他好文 时间：
2014-08-11 23:55:33
阅读次数：
422
HOG（Histogram of gradient）统计图像局部区域的梯度方向信息来作为该局部图像区域的表征。HOG特征具有以下几个特点： (1)不具有旋转不变性（较大的方向变化），实际应用中不变性是通过采用不同旋转方向的训练样本； (2)不具有尺度不变性，其尺度不变性是通过改变检测图像的大...
分类：
其他好文 时间：
2014-08-07 00:40:47
阅读次数：
448
在机器学习的应用背景是多种多样的，做实际工程必须学会如何根据 具体的问题评估一个学习模型的好坏，如何合理地选择模型、提取特征，如何进行参数调优。这些也是我以前做模式识别时欠缺的环节，所以在遇到识别率很低的情 况时，往往很困惑，不知道该如何改进：到底是应该改进模型改变特征、还是应该增加训练样本数量，到...
分类：
其他好文 时间：
2014-08-03 23:00:26
阅读次数：
287
实现我们构造了RBM类. 网络的参数可以通过构造器或者是输入参数初始化.这样RBM可以用作构造一个深度网络, 在这种情况下, 权值矩阵和隐层偏置是和一个MLP网络的sigmoidal层共享的.写好构造函数, 对一些参数的默认值进行设置, 并完成一系列的初始化权值初始化成均匀分布偏置初始化成0定义与(...
分类：
其他好文 时间：
2014-07-23 16:49:11
阅读次数：
455
基于能量的模型(EBM)基于能量的模型将每一个我们感兴趣的变量构造联系到一个标量能量上. 学习就是修改能量方程从而使得它的外形有我们需要的特点. 举例来说, 我们希望的是: 期望构造的能量低. 基于能量的概率性模型定义了一个概率分布, 它是由能量方程决定的:归一化因子Z被称为配分函数, 类比于物理系...
分类：
其他好文 时间：
2014-07-23 15:47:59
阅读次数：
382
安装对应的lib (install the libs) ? ?参考：http://www.eefocus.com/winter1988/blog/13-03/292209_03d5b.html sudo?apt-get?install?autoconf?automake?libtool
sudo?apt-get?install?libpng12-dev
...
分类：
系统相关 时间：
2014-07-21 10:08:49
阅读次数：
638
1：算法简单描述
给定训练数据样本和标签，对于某测试的一个样本数据，选择距离其最近的k个训练样本，这k个训练样本中所属类别最多的类即为该测试样本的预测标签。简称kNN。通常k是不大于20的整数，这里的距离一般是欧式距离。
2：python代码实现
创建一个kNN.py文件，将核心代码放在里面了。
(1) 创建数据
#创造数据集
def createDataSet():
...
分类：
其他好文 时间：
2014-07-19 23:24:39
阅读次数：
300
