一、算法原理 KNN算法是机器学习中最基本算法之一，属于惰性学习算法的典例。惰性指模型仅通过对训练数据集的记忆功能进行预测，而不产生判别函数。 KNN算法本身很简单，归纳为如下几步：①选择近邻数量k和距离度量的方法②找到待分类样本的k个最近邻③根据最近邻类标进行多数投票 二、超参数(结合sklear ...
分类：
编程语言 时间：
2019-11-28 23:06:36
阅读次数：
483
提升方法与前向分步算法 提升方法 从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱学习器，提升为强学习器 两个问题： 在每一轮如何改变训练数据的权值或概率分布 如何将弱学习器组合成一个强学习器 前向分步算法 AdaBoost另一种解释： 加法模型 损失函数为指数函数 学习算法为前向分步 ...
分类：
其他好文 时间：
2019-11-24 17:26:48
阅读次数：
80
基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入，利用贝叶斯定理求出后验概率最大的输出$y$。 朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$。具体地，学习以下先验概率分布及条件概率分布。先 ...
分类：
其他好文 时间：
2019-11-24 15:20:43
阅读次数：
67
交叉验证 将拿到的训练数据，分为训练集和验证机。以下图为例：将训练数据分为4份，其中一份作为验证集，。然后经过5次的测试，每次都更换不同的验证机， 最后得到5组模型的结果。最后取平均值作为最后的结果。这也称为4折交叉验证。 网格搜索（超参数搜索）: 通常情况下，有很多参数是需要手动指定的（如K-近邻 ...
分类：
其他好文 时间：
2019-11-16 12:30:06
阅读次数：
55
KNN（K-Nearest Neighbor） K 近邻算法，K近邻就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN算法用于监督学习分类模型，预测结果是离散的机器学习算法。 KNN算法原理： 1、计算每个测试数据与每个训练数据的距离（相识度）； 2、按照距离升序，对训 ...
分类：
编程语言 时间：
2019-11-16 00:21:48
阅读次数：
77
1.过拟合问题 对于过拟合问题，通常原因是模型选择太过复杂，也有可能是训练数据太少。对于模型太复杂的情况，我们一般有如下考虑：一是通过分析删除部分特征（比如重复多余的特征或者对输出值贡献不太大的特征），但是这样有可能会损失一部分信息。所以，我们可以通过正则化的方法来降低参数值，从而避免过拟合问题。对 ...
分类：
其他好文 时间：
2019-11-13 13:25:46
阅读次数：
87
def sigmoid(inX): return 1.0/(1+exp(-inX)) '''标准bp算法每次更新都只针对单个样例，参数更新得很频繁sdataSet 训练数据集labels 训练数据集对应的标签标签采用one-hot编码(一位有效编码)，例如类别0对应标签为[1,0],类别1对应标签为 ...
分类：
编程语言 时间：
2019-11-10 16:03:45
阅读次数：
89
<! TOC "模型选择、欠拟合和过拟合" "训练误差和泛化误差" "模型选择" "K折交叉验证" "欠拟合和过拟合" "模型复杂度" "训练数据集大小" "多项式函数拟合实验" "定义、训练和测试模型" "欠拟合" "过拟合" "小结" <! /TOC 模型选择、欠拟合和过拟合 前几节给予Fash ...
分类：
其他好文 时间：
2019-11-08 19:16:05
阅读次数：
142
数据集划分： 机器学习一般的数据集会划分为两个部分 训练数据： 用于训练，构建模型 测试数据： 在模型检验时使用，用于评估模型是否有效 sklearn数据集划分API： 代码示例文末！ scikit-learn数据集API： 获取数据集的返回类型： 数据集进行分割： 代码示例： 1 import o ...
分类：
其他好文 时间：
2019-11-02 17:29:55
阅读次数：
102
从百度图片下载一些图片当做训练集，好久没写爬虫，生疏了。没有任何反爬，随便抓。 网页： 动态加载，往下划会出现更多的图片，一次大概30个。先找到保存每一张图片的json，其对应的url： 打开调试，清空，然后往下划。然后出现： 点击左侧的链接，出现右边的详细信息，对应的就是URL。对这个url做请求 ...
分类：
编程语言 时间：
2019-10-31 16:12:14
阅读次数：
78
