五、高维数据映射为低维数据 换一个坐标轴。在新的坐标轴里面表示原来高维的数据。 低维 反向 映射为高维数据 PCA.py 六、scikit-learn 中的 PCA 七、试手MNIST数据集 通过单幅图像数据的高维化,将单幅图像转化为高维空间中的数据集合,对其进行非线性降维,寻求其高维数据流形本征结 ...
分类：
其他好文 时间：
2018-08-30 22:43:09
阅读次数：
254
这是书中梯度上升算法的代码，但看到倒数第三行和倒数第二行的时候就懵逼了，书中说这里略去了一个简单的数据推导，嘤嘤嘤，想了一会没想出来，于是乎就百度看看大神的解释，这是找到的一篇解释的比较好的，仔细一看发现是在Ag的机器学习视频中讲过的，忘了。。。 Sigmoid函数: $g(z)=\frac{1}{ ...
分类：
其他好文 时间：
2018-08-05 00:42:03
阅读次数：
152
一、目标函数的梯度求解公式 PCA 降维的具体实现，转变为： 方案：梯度上升法优化效用函数，找到其最大值时对应的主成分 w ； 1）推导梯度求解公式 变形一 变形二 变形三：向量化处理 最终的梯度求解公式：▽f = 2 / m * XT . (X . dot(w) ) ...
分类：
其他好文 时间：
2018-06-09 13:16:03
阅读次数：
343
logistic回归实现预测病马死亡率 python3已经实现 代码还在更新中 写完全部注释以后在贴上来 结果如下： 考虑到数据缺失问题，这个结果并不差 注意几个方法和概念 分类函数，梯度上升法，随机梯度上升法，改进的随机梯度上升法 ...
分类：
其他好文 时间：
2018-05-03 20:50:46
阅读次数：
170
梯度算法之梯度上升和梯度下降 __方向导数__ 当讨论函数沿任意方向的变化率时，也就引出了方向导数的定义，即：某一点在某一趋近方向上的导数值。 导数和偏导数的定义中，均是沿坐标轴正方向讨论函数的变化率。那么当讨论函数沿任意方向的变化率时，也就引出了方向导数的定义，即：某一点在某一趋近方向上的导数值。 ...
分类：
编程语言 时间：
2018-04-04 23:30:54
阅读次数：
358
逻辑回归的本质是最大似然估计 逻辑回归的输出是 分别表示取1和取0的后验概率。将上面两式联系起来得到 取似然函数 再取对数 最大似然估计就是求使似然函数最大的参数θ。此时可以使用梯度上升法优化代价函数 取负号和求平均后得到J函数 此时就是求使J函数最小的参数θ。接下来用梯度下降法优化。 ...
分类：
其他好文 时间：
2018-03-25 12:11:25
阅读次数：
686
梯度下降法 不是一个机器学习算法 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数 举个栗子 直线方程：导数代表斜率 曲线方程：导数代表切线斜率 导数可以代表方向，对应J增大的方向。对于蓝点，斜率为负，西塔减少时J增加，西塔增加时J减少，我们想让J减小，对应导数的 ...
分类：
其他好文 时间：
2018-03-04 18:04:02
阅读次数：
214
牛顿方法 本次课程大纲： 1、 牛顿方法：对Logistic模型进行拟合 2、 指数分布族 3、 广义线性模型（GLM）：联系Logistic回归和最小二乘模型 复习： Logistic回归：分类算法 假设给定x以为参数的y=1和y=0的概率： 求对数似然性： 对其求偏导数，应用梯度上升方法，求得： ...
分类：
其他好文 时间：
2018-01-31 20:20:58
阅读次数：
216
一、介绍 Logistic回归是广泛应用的机器学习算法，虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。 面对一个回归或者分类问题，建立代价函数(损失函数)，使用最优化算法（梯度上升法、改进的随机梯度上升法），找到最佳拟合参数，将数据拟合到一 ...
分类：
其他好文 时间：
2018-01-27 11:25:47
阅读次数：
209
机器学习实战四（Logistic Regression） 这一章会初次接触 ，在日常生活中应用很广泛。这里我们会用到基本的梯度上升法，以及改进的随机梯度上升法。 Logistic回归 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分裂精度可能不高 原理：根据现有数据堆分类边界线建立回归公式， ...
分类：
其他好文 时间：
2018-01-10 16:54:25
阅读次数：
178
