k近邻是一种特别简单的有监督学习算法。给定一个带标签的训练数据集，从中选择与预测样本最近的k个训练样本，用这k个样本投票决定预测样本标签。
k近邻法三要素：距离度量，k值选择和分类决策规则为了提高k近邻搜索效率，比较常用的就是线性扫描和kd树(二叉树)
kd树构造：对每个维度的特征依次寻找中位数划分子集，并以此中位数作为节点
代码：
pass
kd树搜索代码：
主要就是舍弃当前兄弟节点与...
分类：
其他好文 时间：
2015-07-29 19:17:31
阅读次数：
125
对于机器学习的实际运用，光停留在知道了解的层面还不够，我们需要对实际中容易遇到的一些问题进行深入的挖掘理解。我打算将一些琐碎的知识点做一个整理。1 数据不平衡问题这个问题是经常遇到的。就拿有监督的学习的二分类问题来说吧，我们需要正例和负例样本的标注。如果我们拿到的训练数据正例很少负例很多，那么直接拿来做分类肯定是不行的。通常需要做以下方案处理：1.1 数据集角度通过调整数据集中正负样本的比例来解决数...
分类：
编程语言 时间：
2015-07-28 21:17:17
阅读次数：
180
转自csdn，加上一些自己的理解。基于特征化工程进行用户特征化，结合相关的机器学习算法对业务进行挖掘建模，在广告的精准投放、预测、风控等领域中应用的非常广泛。无论是有监督的学习分类算法，还是无监督的聚类也罢，都需要建立特征向量，对特征进行预处理；其中对于有监督的训练时，还需要进行样本的筛选。本章节讲...
分类：
其他好文 时间：
2015-07-17 20:42:49
阅读次数：
1713
以下是摘抄自知乎上对监督学习与非监督学习的总结，觉得写得很形象，于是记下：这个问题可以回答得很简单：是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习首先看什么是学习（learning）？一个成语就可概括：举一反三。此处以高...
分类：
其他好文 时间：
2015-07-07 16:20:09
阅读次数：
196
**机器学习笔记—-监督学习与无监督学习的异同**有监督学习在监督学习中，输入数据和输出数据存在某种关系，即在已经给定的数据集下，对应的正确输出结果，已经大约知道是什么样子了。有监督学习常常被归类为 回归 和 分类 问题。在回归问题中，我们希望得到连续值的输出预测值，即，使用某些连续函数来映射输入值。在分类问题中，则希望获得的是离散的预测值。将输入值映射到离散的种类上。...
分类：
其他好文 时间：
2015-07-06 17:53:46
阅读次数：
124
机器学习主要分为有监督学习和无监督学习两种。接下来我详细的给大家介绍一下这两种方法的概念和区别。监督学习（supervised learning）：通过已有的训练样本（即已知数据以及其对应的输出）来训练，从而得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的...
分类：
其他好文 时间：
2015-06-12 16:48:51
阅读次数：
115
1、数据挖掘与机器学习的关系 数据挖掘和机器学习这两项技术的关系非常密切。 机器学习方法构成数据挖掘的核心，绝大多数数据挖掘技术都来自机器学习领域，数据挖掘又向机器学习提出新的要求和任务。2、数据挖掘与机器学习的概念 数据挖掘就是在数据中寻找模式的过程，这个寻找过程必须是自动的或半自动的，并且...
分类：
其他好文 时间：
2015-06-04 15:13:36
阅读次数：
186
内容概要
如何使用pandas读入数据如何使用seaborn进行数据的可视化scikit-learn的线性回归模型和使用方法线性回归模型的评估测度特征选择的方法
作为有监督学习，分类问题是预测类别结果，而回归问题是预测一个连续的结果。
1. 使用pandas来读取数据
Pandas是一个用于数据...
分类：
其他好文 时间：
2015-06-03 09:45:15
阅读次数：
278
有监督的kNN近邻算法：
（1）计算已知类别数据集中的点与当前点之间的距离
（2）按照距离递增次序排序
（3）选取与当前点距离最小的k个点
（4）确定前k个点所在类别的出现频率
（5）返回前k个点出现频率最高的类别作为当前点的预测分类
#数据样例
1 2:a
1 3:a
1 4:a
1 5:b
6 2:b
6 3:b
100 200:c
101 199:c
3...
分类：
编程语言 时间：
2015-05-24 21:58:04
阅读次数：
219
原文作者：aihorizon.com原文链接：Machine Learning, Part I: Supervised and Unsupervised Learning译者：commondata监督学习是指我们来教计算机如何“学习”，非监督学习是指让计算机自己学习。监督学习又有两个大的分支，一个是...
分类：
其他好文 时间：
2015-05-24 15:32:54
阅读次数：
909
