决策树是机器学习中一类非常常见的算法，它是一种分类与回归算法，但以分类为主。它的决策思维非常符合人类正常的决策方式。举一个简单的例子， 比如我们要挑选一个书包，我们就需要做出以下决策：我需要一个男包还是女包？女包。我需要一个双肩背包还是斜挎包？双肩包。我需要一个大包还是小包？小包。我需要一个白色的包 ...
分类：
其他好文 时间：
2016-08-20 13:19:31
阅读次数：
263
1.监督学习
回归算法通常用在监督学习中的学习算法，所以在讲回归之前，先来说说监督学习。
我们已经学习了很多的分类器设计方方法，如感知器、SVM等，他们的共同特点都是，根据给定的带有类别标签的样本，训练学习机器，然后使得机器能够对新来的无标签样本进行正确分类，像这种就属于监督模式识别，对学习机器来说就是监督学习。
举个栗子，就拿老师们讲课最喜欢用的预测房价的例子，图形表示监督学习的过程如下：...
分类：
其他好文 时间：
2016-06-17 17:22:37
阅读次数：
231
TensorFlow 入门之手写识别(MNIST) softmax算法MNIST 卢富毓 softmax回归softmax回归算法TensorFlow实现softmaxsoftmax回归算法我们知道MNIST的每一张图片都表示一个数字，从0到9。我们希望得到给定图片代表每个数字的概率。比如说，我们的... ...
分类：
编程语言 时间：
2016-06-03 10:01:58
阅读次数：
296
最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
那什么是最小二乘法呢？别着急，我们先从...
分类：
编程语言 时间：
2016-05-27 12:19:23
阅读次数：
398
算法介绍回归和分类回归算法和分类算法通常会被联系在一起，因为两者都可以通过一个或者多个值来预测一个或者多个值 he
为了能够做出预测，两者需要从一组输入和输出中学习预测规则，在学习过程中需要告诉它们问题以及问题的答案
因此，回归和分类都属于监督学习类的算法回归是预测一个数值型的结果，例如温度，成绩等
分类是预测一个标号或者类别，例如邮件是否为辣鸡邮件，一个人是属于哪个人种这里将使用决策树和...
分类：
编程语言 时间：
2016-05-13 03:59:17
阅读次数：
280
GBDT 全称为 Gradient Boosting Decision Tree。
顾名思义,它是一种基于决策树(decision tree)实现的分类回归算法。
不难发现,GBDT 有两部分组成: gradient boosting, decision tree。
Boosting 作为一种模型组合方式,与gradient descent 有很深的渊源,它们之间究竟有什么关系?...
分类：
其他好文 时间：
2016-05-06 16:18:52
阅读次数：
341
本文是对由Stanford大学Andrew Ng讲授的机器学习课程进行个人心得总结。在机器学习中，回归算法是入门级的课程，但由于其较易理解，该算法也是生产环境中使用最为广泛的算法。本文将从线性回归开始一步一步讲述作者对回归算法的理解。问题的引出线性回归中常提到的一个例子是房价问题，比如说如下是最近北京地区交易的房屋成交价列表
面积
价格 90
183
54
104
60...
分类：
其他好文 时间：
2016-05-06 15:24:34
阅读次数：
158
============================================================================================
《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记，包含对其中算法的理解和算法的Python代码实现
另外博主这里有机器学习实战这本书的所有算法源代码和算法所用到的源文件，有需要的留言
=...
分类：
编程语言 时间：
2016-04-29 18:23:21
阅读次数：
276
============================================================================================
《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记，包含对其中算法的理解和算法的Python代码实现
另外博主这里有机器学习实战这本书的所有算法源代码和算法所用到的源文件，有需要的留言
=...
分类：
编程语言 时间：
2016-04-25 06:53:24
阅读次数：
287
（一）生成学习算法 在线性回归和Logistic回归这种类型的学习算法中我们探讨的模型都是p(y|x;θ)，即给定x的情况探讨y的条件概率分布。如二分类问题，不管是感知器算法还是逻辑回归算法，都是在解空间中寻找一条直线从而把两种类别的样例分开，对于新的样例，只要判断在直线的哪一侧即可；这种直接对问题 ...
分类：
编程语言 时间：
2016-04-21 01:15:01
阅读次数：
538
