一、从LR到决策树 0.思考一些一个分类问题：是否去相亲，LR解决的问题可能是这样的 在下面各个特征下给定w1，w2，w3，w4等参数值，将wx+b送到sigmoid函数中去，拿到一个概率p，我们在使用这个函数的时候会有一个损失函数loss function，对于这个代价函数通过GD梯度下降完成优化 ...
分类：
其他好文 时间：
2019-01-26 13:14:30
阅读次数：
199
1.对某些线性回归问题，正规方程给出了更好的解决方法，来求得参数θ，截止到目前我们一直使用线性回归算法是梯度下降法，为了最小化代价函数J(θ)，我们使用梯度下降多次迭代，来收敛得到全局的最小值。与此相反的正规方程提供了一种求θ的解析方法，我们不需要再去运用迭代的方法，而是可以直接一次性的求解θ最优值 ...
分类：
其他好文 时间：
2019-01-22 17:27:53
阅读次数：
181
1.用梯度下降算法来训练或者学习训练集上的参数w和b，如下所示，第一行是logistic回归算法，第二行是成本函数J，它被定义为1/m的损失函数之和，损失函数可以衡量你的算法的效果，每一个训练样例都输出y，把它和基本真值标签y进行比较 右边展示了完整的公式，成本函数衡量了参数w和b在训练集上的效果。 ...
分类：
其他好文 时间：
2019-01-21 22:49:14
阅读次数：
190
现在这本书已经看完70%，在看完后我将会将每一章的内容按照自己的理解并结合其他书籍包括<<统计机器学习导论>>[1] ，<<机器学习>>[2]，<<大数据分析>>[3]这三本书总结经典的几大算法原理与代码实现。下面是预计的写作思路： 一、分类学习 1.SVM 2.决策树 3.Logistic 回归 ...
分类：
其他好文 时间：
2019-01-19 13:22:46
阅读次数：
300
模型接口建立 模型接口的建立 我们将模型接口都放在cifar_omdel.py文件当中，设计了四个函数，input()作为从cifar_data文件中数据的获取，inference()作为神经网络模型的建立，total_loss()计算模型的损失，train()来通过梯度下降训练减少损失 input ...
分类：
其他好文 时间：
2019-01-17 17:44:31
阅读次数：
227
算法杂货铺——分类算法之贝叶斯网络(Bayesian networks) 2.1、摘要 在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的 ...
分类：
Web程序 时间：
2019-01-17 15:56:24
阅读次数：
310
4.1多维特征 多维特征长这个样子： 进一步的，我们为让公式简化，引入x0=1，这样的话，公式就变成下面这个样子： 进一步的简化，可以表示为： 4.2多变量梯度下降 首先，构建多变量线性回归的代价函数： 那么我们的目标就成功的转化为了：求取使代价函数最小的一系列参数。 那么多变量线性回归的批量梯度下 ...
分类：
其他好文 时间：
2019-01-17 11:37:35
阅读次数：
188
前置知识 求导 知识地图 逻辑回归是用于分类的算法，最小的分类问题是二元分类。猫与狗，好与坏，正常与异常。掌握逻辑回归的重点，是理解 S型函数 在算法中所发挥的作用，以及相关推导过程。 从一个例子开始 假设我们是信贷工作人员，有 ...
分类：
其他好文 时间：
2019-01-17 00:33:03
阅读次数：
267
Spark MLlib中分类和回归算法： -分类算法： pyspark.mllib.classification -朴素贝叶斯 NaiveBayes -支持向量机（优化：随机梯度下降）SVMWithSGD -逻辑回归 LogisticRegressionWithSGD // 从Spark 2.0开始 ...
分类：
编程语言 时间：
2019-01-16 19:48:26
阅读次数：
293
theta是个未知的常量，X是随机变量， MLE最大似然估计 MAE最大后验概率 统计机器学习，优化问题 1）建立模型、概率 2）定义损失函数 3）梯度下降/牛顿法求解 概率图模型 求积分（用蒙特卡洛方法取样） ...
分类：
其他好文 时间：
2019-01-15 16:59:51
阅读次数：
314
