KNN 算法介绍： 缺点： 对一个算法的掌握无非知其然，也知其所以然 使用scikit中的KNN： 自己实现KNN 分类器: 调用： 超参数和模型参数： 如何寻找好的超参数 明可夫斯基距离 当p的值为1时，则是曼哈顿距离，当p为2时则是欧拉距离 数据归一化： 测试数据归一化 使用StandardSc ...
分类：
其他好文 时间：
2018-07-06 01:32:46
阅读次数：
236
转自： 最大方差和最小协方差解释（线性代数看PCA） PCA降维 ——最大方差和最小协方差联合解释（线性代数看PCA） 注：根据网上资料整理而得，欢迎讨论 机器学习算法的复杂度和数据的维数有着密切关系，甚至与维数呈指数级关联。因此我们必须对数据进行降维。 降维当然意味着信息的丢失，不过鉴于实际数据本 ...
分类：
其他好文 时间：
2018-07-04 16:03:15
阅读次数：
339
Lightgbm：高效梯度提升决策树摘要：梯度提升决策树（GBDT）是一种流行的机器学习算法，并且有很多有效的实现，例如XGBoost和pGBRT。尽管在这些实现中已经采用了许多工程优化，但是当面对维度高，数据量大的问题时，其特征的效率和可扩展性仍然不尽人意。其中一个主要原因是对于每个特征，他们需要遍历所有的数据实例来估计所有可能的分割点的信息增益，这非常耗时。为了解决这个问题，我们提出了两种新颖
分类：
其他好文 时间：
2018-07-04 10:33:49
阅读次数：
349
NumPy库函数基础： 机器学习算法涉及很多线性代数知识。 NumPy库中有很多线性代数计算。 之所以用到线性代数只是为了简化不同的数据点上执行的相同数学运算。将数据表示为矩阵形式， 只需要执行简单的矩阵运算而不需要复杂的循环操作。 randMat =mat（random.rand（4,4）） 数据 ...
分类：
其他好文 时间：
2018-07-03 18:14:54
阅读次数：
144
决策树是一种基本的分类和回归模型，也就是说既可以用于分类也可以用于回归。这里以分类为例。 决策树模型一种描述对实例依据特征进行分类的树形结构，它包含一个根节点，若干个内部节点和若干个叶节点。其中叶节点对应的是决策结果，也可以说是一个类，内部节点表示的是一个属性和特征。 决策树的学习算法包含三个步骤： ...
分类：
编程语言 时间：
2018-07-03 11:46:29
阅读次数：
111
结束了四年咸鱼一般的大学生涯，即将开始新的征程，现在写下这篇随笔作为新征程的起点。 经过一年的奋斗，终于如愿考上了研究生，当然不能再延续旧的作风，也要开始认真的奋斗起来。 假期的学习目标： ① 完成Python语法的学习 ② 学习机器学习的算法 ③ 使用Python及机器学习框架完成机器学习算法的应 ...
分类：
其他好文 时间：
2018-07-03 01:01:38
阅读次数：
224
1、集成学习概述 集成学习算法可以说是现在最火爆的机器学习算法，参加过Kaggle比赛的同学应该都领略过集成算法的强大。集成算法本身不是一个单独的机器学习算法，而是通过将基于其他的机器学习算法构建多个学习器并集成到一起。集成算法可以分为同质集成和异质集成，同质集成是值集成算法中的个体学习器都是同一类 ...
分类：
编程语言 时间：
2018-06-30 15:25:58
阅读次数：
479
2006年以来，以深度学习为代表的机器学习算法在机器视觉和语音识别等领域取得了极大的成功，识别准确性大幅提升，使人工智能再次受到学术界和产业界的广泛关注，2016年谷歌的AlphaGo与李世石的人机围棋大战则使人工智能家喻户晓。随着云计算、大数据等技术的发展，不仅提升了运算速度、降低 计算成本，也为 ...
分类：
其他好文 时间：
2018-06-29 23:30:35
阅读次数：
259
在机器学习的过程中，我们经常会遇见过拟合的问题。而输入数据或features的维度过高就是导致过拟合的问题之一。。维度越高，你的数据在每个特征维度上的分布就越稀疏，这对机器学习算法基本都是灾难性的。所有出现了很多降维的方法。今天我们要讨论的就是LDA降维。 LDA降维的思路是：如果两类数据线性可分， ...
分类：
编程语言 时间：
2018-06-29 14:17:04
阅读次数：
129
Scikit-learn是个简单高效的数据分析工具，它其中封装了大量的机器学习算法，内置了大量的公开数据集，并且拥有完善的文档。1用KNN算法实现鸢尾花的分类鸢尾花是在模式识别文献中最有名的数据库。数据集包含3个类，每类有50个实例，每个类指向一种类型的鸢尾花。一类与另外两类线性分离，而后者不能彼此线性分离。鸢尾花数据集特征:属性数量:4(数值型，数值型，帮助预测的属性和类)属性信息:sepall
分类：
其他好文 时间：
2018-06-25 15:02:29
阅读次数：
184
