关于偏差、方差以及学习曲线为代表的诊断法： 在评估假设函数时，我们习惯将整个样本按照6:2:2的比例分割：60%训练集training set、20%交叉验证集cross validation set、20%测试集test set，分别用于拟合假设函数、模型选择和预测。 模型选择的方法为： 1. 使 ...
分类：
其他好文 时间：
2018-10-28 14:57:17
阅读次数：
171
Spark提供了便利的Pipeline模型，可以轻松的创建自己的学习模型。 但是大部分模型都是需要提供参数的，如果不提供就是默认参数，那么怎么选择参数就是一个比较常见的问题。Spark提供在org.apache.spark.ml.tuning包下提供了模型选择器，可以替换参数然后比较模型输出。 目前 ...
分类：
其他好文 时间：
2018-10-22 00:00:34
阅读次数：
278
上一章，讲了基本概念和关于模型选择与评估的概念。这一张学习线性回归，并根据线性回归加上模型选择与评估的知识来实例化。 1、线性回归（LinearRegression）（又名最小二乘法，ordinary least squares OLS）最小二乘法的具体数学原理这里就不再赘述了，另外需要讲的一点是线 ...
分类：
其他好文 时间：
2018-09-28 18:59:12
阅读次数：
303
特征工程是机器学习当中很重要的部分，可以帮助我们设计、创建新特征，以便模型从中提取重要相关性。本文将记录并持续更新相关特征工程的工具包介绍，包括自动模型选择和超参数调优等各方面。 · Featuretools Featuretools 是一个开源的Python 库，用于自动化特征工程。自动特征工程能 ...
分类：
其他好文 时间：
2018-09-27 22:17:06
阅读次数：
431
Q：CBEngine使用什么网络协议？A：集群组建使用UDP协议，其他情况下服务器模块之间、服务器和客户端之间用的都是TCP协议。 Q：CBEngine使用什么网络模型？A：由于正式运营环境在Linux下，所以网络模型选择了epoll, 生产环境在Windows比较方便所以CBEngine也支持了W ...
分类：
其他好文 时间：
2018-09-20 00:56:43
阅读次数：
458
原文链接：https://www.mlpod.com/mlbase/66.html 1. 训练误差与测试误差 当损失函数给定时，基于损失函数的模型训练误差和魔性的测试误差就自然成为学习方法评估的标准。注意，统计学习方法具体采用的损失函数未必是评估时所使用的损失函数。 2. 过拟合与模型选择 当假设空 ...
分类：
其他好文 时间：
2018-09-02 02:08:11
阅读次数：
367
很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 人们提出许多信息准则，通过加入模型复杂度的惩罚项来 ...
分类：
其他好文 时间：
2018-08-25 14:30:18
阅读次数：
158
背景：单例模式模式是在编程中经常使用，他可以对需要使用的资金进行一次性初始化，防止多次初始化多次资源释放带来性能的开销。 最近在读《JAVA并发编程的艺术》发现有些知识点不错，整理出来。 单例模式常用模式是懒汉模式和饿汉模式 懒汉模式：就是用到时候才new出来。 饿汉模式：类一开始就加载好，可直接使 ...
分类：
其他好文 时间：
2018-08-24 13:23:57
阅读次数：
122
当模型在训练数据集上更准确时，在测试数据集上的准确率既可能上升又可能下降。这是为什么呢？ ...
分类：
Web程序 时间：
2018-08-23 00:25:03
阅读次数：
234
https://blog.csdn.net/thriving_fcl/article/details/72565455 前言 学习RNN的时候很多人应该都有看过Andrej Karpathy写的The Unreasonable Effectiveness of Recurrent Neural Ne ...
分类：
其他好文 时间：
2018-08-20 12:22:05
阅读次数：
182
