最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。# 一、1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：$$目标... ...
分类：
其他好文 时间：
2019-07-19 18:48:57
阅读次数：
107
在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有GBT（Gradient... ...
分类：
其他好文 时间：
2019-07-19 18:42:11
阅读次数：
72
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。# 一、梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数... ...
分类：
其他好文 时间：
2019-07-19 18:28:57
阅读次数：
87
1. 算法思想 对线性可分的情形：通过最大化硬间隔（几何间隔），找出最佳分离超平面，从而分类数据 对弱线性可分情形：最大化软间隔（通过加一个松弛因子），找出分离超平面，分类数据 线性不可分的情形：通过核技巧把原始数据映射到高维空间，转化为线性可分的情形，然后继续求解。 2. 算法推导 （1）函数间隔 ...
分类：
其他好文 时间：
2019-07-18 22:31:24
阅读次数：
149
第三章 经典算法 0 写在前面 本章介绍了 SVM，逻辑回归和决策树 三个经典算法。这三个算法在李航的《统计学习方法》中分别拿出了三章重点讲解。本节的提问需要有相应的基础，通过书中的提问发现自己基础太弱了，而基础知识最能考察一个人的学习能力。（记得考研时张宇说过，基础知识不等于简单知识，越是抽象的基 ...
分类：
编程语言 时间：
2019-07-18 00:21:27
阅读次数：
199
adaptive moment estimation(自适应矩估计) ...
分类：
其他好文 时间：
2019-07-17 20:31:00
阅读次数：
557
1、线性回归 假设线性函数如下： 假设我们有10个样本x1,y1）,(x2,y2).....(x10,y10)，求解目标就是根据多个样本求解theta0和theta1的最优值。 为了解决这个问题，我们需要引入误差分析预测值与真实值之间的误差为最小。 2、梯度下降算法 梯度下降的场景： 梯度下降法的基 ...
分类：
编程语言 时间：
2019-07-17 18:38:52
阅读次数：
175
一、深度学习建模与调试流程 二、激活函数 sigmoid ReLU maxout 三、梯度下降的改进 Adagrad RMSProp Momentum Adam = RMSProp + Momentum Early Stopping 四、正则化 Dropout ...
分类：
其他好文 时间：
2019-07-16 18:55:03
阅读次数：
235
理论 任何灰度图像都可以看作是一个地形表面，其中高强度表示山峰和丘陵，而低强度表示山谷。用不同颜色的水(标签)填充每个孤立的山谷(局部极小值)。当水上升时，根据附近的峰(梯度)，不同山谷不同的颜色的水，显然会开始融合。为了避免这种情况，你在水就要融合的地方及时增加屏障（增高水坝）。你继续填满水，建造 ...
分类：
编程语言 时间：
2019-07-14 22:38:17
阅读次数：
247
百面机器学习是一本记录面试问题的书，一方面，学习里面的问题和解答有助于我们更好的掌握机器学习，另一方面，以目录为索引，可以扩展我们的知识面，掌握应届生从事机器学习必备的技能。下面以章节为单位，记录书本的大纲内容。 第1章 特征工程 01 为什么要对数值类型的特征做归一化？ 对数值类型的特征做归一化可 ...
分类：
其他好文 时间：
2019-07-14 15:13:21
阅读次数：
124
