集成学习 集成学习分为bagging和boosting两类，典型的bagging有随机森林等，典型的boosting有gbdt和adaboost等(xgboost和lightGBM都是基于gbdt的高效实现，在我的另外两篇博文中都有介绍)。 bagging与boosting的区别如下所述： 共同点： ...
分类：
其他好文 时间：
2020-04-21 15:17:19
阅读次数：
90
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 线性回归的应用以及它的代码实现： 线性回归的原理： 数组和矩阵的重要特性： 对于权重的求解： 梯度下降算法原理： 2.思考线性回归算法可以用来做什么？（大家尽量不要写重复） 3.自主编写线性回归算法 ，数据可以自己造，或者 ...
分类：
编程语言 时间：
2020-04-21 13:30:33
阅读次数：
75
本周任务： 请确保熟悉并理解机器学习数学部分常用相关概念: 1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶 ...
分类：
其他好文 时间：
2020-04-16 00:31:31
阅读次数：
60
1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶斯定理 5）概率分布 6）期望和方差 7）参数估计 ...
分类：
其他好文 时间：
2020-04-14 20:28:45
阅读次数：
74
1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶斯定理 5）概率分布 6）期望和方差 7）参数估计 2.本周 ...
分类：
其他好文 时间：
2020-04-13 22:43:49
阅读次数：
78
用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”。 梯度 一个向量，表示某一函数在该点处的方向导数沿该方向取得最大值，即函数在该点处沿着该方向变化最快且变化率最大。 梯度下降 一种迭代法，可用于求解最小二乘问题。（让梯度中所有偏导函数都下降到最低点的过程） 贝叶斯定理 关于随机事件A和B的条件概 ...
分类：
其他好文 时间：
2020-04-13 16:57:33
阅读次数：
77
下面是一个梯度下降法对多元问题的求解： 1 import numpy as np 2 import matplotlib.pyplot as plt 3 plt.rcParams['font.sans-serif'] = ['Simhei'] 4 5 area = np.array([137.97, ...
分类：
其他好文 时间：
2020-04-13 00:28:18
阅读次数：
81
1.牛顿法：是通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。 收敛速度很快。 海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果。 缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。 2.梯度下降法：是通过梯度方向和步长，直接求解目标函数的最小值时的参数。 ...
分类：
其他好文 时间：
2020-04-12 16:58:07
阅读次数：
174
本周任务： 请确保熟悉并理解机器学习数学部分常用相关概念: 1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶 ...
分类：
其他好文 时间：
2020-04-12 00:14:12
阅读次数：
92
1.学习记录 2、用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”， 梯度：在指定方向每单位距离的数值变化 梯度下降：简单来说就是解决一个问题的时候，寻找他的最优解，也可能是局部最优 贝叶斯定理：p(A|B)=P(A)x[p(B|A)/p(B)] ...
分类：
其他好文 时间：
2020-04-09 12:21:36
阅读次数：
62
