一、先弄清楚机器学习的几个概念：训练集：训练样本，每个样本都由表示要学习的特征集（输入变量）和目标（输出变量） 设训练样本数为m 输入特征\变量input : x 其中每个样本用 表示（第i个样本），样本中每个特征/输入用表示（第i个样本中的第j个特征） 输出特征/变量output : y 其中.....
分类：
其他好文 时间：
2014-11-29 22:52:46
阅读次数：
262
稀疏自编码器的学习结构:稀疏自编码器Ⅰ：神经网络反向传导算法梯度检验与高级优化稀疏自编码器Ⅱ：自编码算法与稀疏性可视化自编码器训练结果Exercise: Sparse Autoencoder自编码算法与稀疏性已经讨论了神经网络在有监督学习中的应用，其中训练样本是有类别标签的（x_i，y_i）。自编码...
分类：
其他好文 时间：
2014-11-28 21:22:29
阅读次数：
588
在上一篇《DeepLearning 的挑战： Extreme Learning Machine（超限学习机）？》 中介绍了一些ELM与DL 的一些比较，这篇主要介绍ELM的原理。
首先，ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生。
其次，ELM 是一个神经网络，有输入层、隐藏层，输出层。
最后，ELM 的多分类效果优于SVM。
对于训练样本集{xi,ti} i=1-N,...
分类：
其他好文 时间：
2014-11-25 12:48:37
阅读次数：
226
朴素贝叶斯（NaiveBayesian）算法的核心思想是：分别计算给定样本属于每个分类的概率，然后挑选概率最高的作为猜测结果。假定样本有2个特征x和y，则其属于分类1的概率记作p(C1|x,y)，它的值无法直接分析训练样本得出，需要利用公式间接求得。其中p(Ci)表示训练样本中分类为Ci的..
分类：
编程语言 时间：
2014-11-03 10:22:12
阅读次数：
246
决策树的核心思想是：根据训练样本构建这样一棵树，使得其叶节点是分类标签，非叶节点是判断条件，这样对于一个未知样本，能在树上找到一条路径到达叶节点，就得到了它的分类。举个简单的例子，如何识别有毒的蘑菇？如果能够得到一棵这样的决策树，那么对于一个未知的蘑菇就很..
分类：
编程语言 时间：
2014-10-30 19:26:22
阅读次数：
338
本内容 来自微信公众平台：机器学习之窗 以及 http://www.cnblogs.com/kaituorensheng/p/3579347.html在模式识别领域中，最近邻居法（KNN算法，又译K-近邻算法）是将在特征空间中最接近的训练样本进行分类的方法。最近邻居法采用向量空间模型来分类，概念.....
分类：
编程语言 时间：
2014-10-29 18:58:24
阅读次数：
387
有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的...
分类：
其他好文 时间：
2014-10-17 23:11:22
阅读次数：
187
0 引言机器学习(machine learning)是人工智能的核心研究领域，是智能信息处理的重要途径。监督学习(supervised learning)是机器学习中研究最多、应用最广泛的一种学习途径。在传统的监督学习中，学习系统通过对大量的有标记训练样本(labeled examples)进行学习...
分类：
其他好文 时间：
2014-10-17 23:08:53
阅读次数：
502
假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数：那么整个训练集的损失函数定义如下：第一项是所有样本的方差的均值。第二项是一个归一化项（也叫权重衰减项），该项是为了减少权连接权重的更新速度，防止过拟合。我们的目标是最小化关于W和 b 的函数...
分类：
编程语言 时间：
2014-10-13 02:27:02
阅读次数：
310
