主成分分析（Principal Component Analysis） 1. 一个非监督的机器学习算法 2. 主要用于数据的降维 3. 通过降维，可以发现更便于人类理解的特征 4. 其他应用：可视化、去噪 通过映射，我们可以把数据从二维降到一维： 显然，右边的要好一点，因为间距大，更容易看出差距。 ...
分类：
其他好文 时间：
2019-10-06 00:13:33
阅读次数：
101
logistic回归 梯度上升法 做图 随机梯度上升 随机梯度上升改进 从疝气病预测病马的死亡率 ...
分类：
其他好文 时间：
2019-03-06 14:56:59
阅读次数：
184
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（GradientDescent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中
分类：
编程语言 时间：
2018-12-12 17:38:25
阅读次数：
180
五、高维数据映射为低维数据 换一个坐标轴。在新的坐标轴里面表示原来高维的数据。 低维 反向 映射为高维数据 PCA.py 六、scikit-learn 中的 PCA 七、试手MNIST数据集 通过单幅图像数据的高维化,将单幅图像转化为高维空间中的数据集合,对其进行非线性降维,寻求其高维数据流形本征结 ...
分类：
其他好文 时间：
2018-08-30 22:43:09
阅读次数：
254
一、目标函数的梯度求解公式 PCA 降维的具体实现，转变为： 方案：梯度上升法优化效用函数，找到其最大值时对应的主成分 w ； 1）推导梯度求解公式 变形一 变形二 变形三：向量化处理 最终的梯度求解公式：▽f = 2 / m * XT . (X . dot(w) ) ...
分类：
其他好文 时间：
2018-06-09 13:16:03
阅读次数：
343
logistic回归实现预测病马死亡率 python3已经实现 代码还在更新中 写完全部注释以后在贴上来 结果如下： 考虑到数据缺失问题，这个结果并不差 注意几个方法和概念 分类函数，梯度上升法，随机梯度上升法，改进的随机梯度上升法 ...
分类：
其他好文 时间：
2018-05-03 20:50:46
阅读次数：
170
逻辑回归的本质是最大似然估计 逻辑回归的输出是 分别表示取1和取0的后验概率。将上面两式联系起来得到 取似然函数 再取对数 最大似然估计就是求使似然函数最大的参数θ。此时可以使用梯度上升法优化代价函数 取负号和求平均后得到J函数 此时就是求使J函数最小的参数θ。接下来用梯度下降法优化。 ...
分类：
其他好文 时间：
2018-03-25 12:11:25
阅读次数：
686
梯度下降法 不是一个机器学习算法 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数 举个栗子 直线方程：导数代表斜率 曲线方程：导数代表切线斜率 导数可以代表方向，对应J增大的方向。对于蓝点，斜率为负，西塔减少时J增加，西塔增加时J减少，我们想让J减小，对应导数的 ...
分类：
其他好文 时间：
2018-03-04 18:04:02
阅读次数：
214
一、介绍 Logistic回归是广泛应用的机器学习算法，虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。 面对一个回归或者分类问题，建立代价函数(损失函数)，使用最优化算法（梯度上升法、改进的随机梯度上升法），找到最佳拟合参数，将数据拟合到一 ...
分类：
其他好文 时间：
2018-01-27 11:25:47
阅读次数：
209
机器学习实战四（Logistic Regression） 这一章会初次接触 ，在日常生活中应用很广泛。这里我们会用到基本的梯度上升法，以及改进的随机梯度上升法。 Logistic回归 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分裂精度可能不高 原理：根据现有数据堆分类边界线建立回归公式， ...
分类：
其他好文 时间：
2018-01-10 16:54:25
阅读次数：
178
