梯度下降算法： 线性回归模型： 线性假设： 平方差成本函数： 将各个公式代入，对θ0、θ1分别求偏导得： 再将偏导数代入梯度下降算法，就可以实现寻找局部最优解的过程了。 线性回归的成本函数总是一个凸函数，故梯度下降算法执行后只有一个最小值。 “批”梯度下降：每一个步骤都使用所有的训练样本 ...
分类：
编程语言 时间：
2018-02-21 17:46:25
阅读次数：
190
Optimization algorithms 优化算法以加速训练。 Mini batch gradient descend Batch gradient descend：每一小步梯度下降否需要计算所有的训练样本。很耗时。 Mini batch gradient descend：将训练集分为很多小的 ...
分类：
其他好文 时间：
2018-02-18 13:25:56
阅读次数：
217
监督学习 对于一个房价预测系统，给出房间的面积和价格，以面积和价格作坐标轴，绘出各个点。 定义符号： $x_{(i)}$表示一个输入特征$x$。 $y_{(i)}$表示一个输出目标$y$。 $(x_{(i)},y_{(i)})$表示一个训练样本。 $\left\{(x_{(i)},y_{(i)}); ...
分类：
编程语言 时间：
2018-02-07 19:48:40
阅读次数：
274
一、概述 k-近邻算法采用测量不同特征值之间的距离方法进行分类 1、工作原理： 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征 ...
分类：
编程语言 时间：
2018-02-05 17:02:52
阅读次数：
149
k-近邻算法 概述：k-近邻算法採用測量不同特征值之间的距离方法进行分类 长处：精度高、对于异常值不敏感。无数据输入假定 缺点：计算复杂度高，空间复杂度高,而且它没有办法各处基础数据的一些内部信息数据。 算法描写叙述：存在一个准确的数据集合样本。称作训练样本集，样本集合中每一个item都附带自己所属 ...
分类：
编程语言 时间：
2018-01-15 20:20:18
阅读次数：
221
针对高偏差、高方差问题的解决方法： 1、解决高方差问题的方案：增大训练样本量、缩小特征量、增大lambda值 2、解决高偏差问题的方案：增大特征量、增加多项式特征（比如x1*x2,x1的平方等等）、减少lambda值 隐藏层数的选择对于拟合效果的影响： 隐藏层数过少，神经网络简单，参数少，容易出现欠 ...
分类：
移动开发 时间：
2018-01-14 19:31:45
阅读次数：
172
KNN与Kmeans感觉没啥联系，但是名字挺像的，就拿来一起总结一下吧。 初学者的总结。 KNN是监督学习，Kmeans是无监督学习。 KNN用于分类，Kmeans用于聚类。 先说KNN: 对于KNN，有一批已经标注好label的训练样本，将这批样本的数据转换为向量表示，然后选择度量向量距离的方式。 ...
分类：
编程语言 时间：
2018-01-10 11:31:08
阅读次数：
252
Active Learning主动学习 我们使用一些传统的监督学习方法做分类的时候，往往是训练样本规模越大，分类的效果就越好。但是在现实生活的很多场景中，标记样本的获取是比较困难的，这需要领域内的专家来进行人工标注，所花费的时间成本和经济成本都是很大的。而且，如果训练样本的规模过于庞大，训练的时间花 ...
分类：
其他好文 时间：
2018-01-09 16:46:22
阅读次数：
924
对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多，提升法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合弱分类器构成强分类器。大多数提升法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学 ...
分类：
编程语言 时间：
2017-12-23 21:46:22
阅读次数：
160
1.概述1.1 原理：（测量不同的特征值之间的距离进行分类） 存在样本数据集合，即训练样本集，并且样本集中的每个数据都存在多个特征和标签，即我们知道样本数据和其所属分类，在我们输入没有标签的新数据后，将新数据的每个特征和样本集中的数据对应的特征进行比较，然后根据相应算法（本节选择的是欧氏距离）提取与... ...
分类：
编程语言 时间：
2017-12-21 21:48:52
阅读次数：
220
