mllib是老的api，里面的模型都是基于RDD的，模型使用的时候api也是有变化的(model这里是naiveBayes)， （1：在模型训练的时候是naiveBayes.run(data: RDD[LabeledPoint])来训练的，run之后的返回值是一个NaiveBayesModel对象， ...
分类：
其他好文 时间：
2017-05-16 14:51:50
阅读次数：
321
之前写了一篇入门级的学习列表: 简单粗暴地入门机器学习好多小伙伴觉得不太过瘾，今天补充一些脑洞！本文结构：
机器学习技术栈
职位
项目实例
1. 机器学习技术栈去知乎上可以搜到很多推荐的学习路线，问题...
分类：
其他好文 时间：
2017-05-15 23:48:17
阅读次数：
288
18.1 问题描述和流程图 18.2 滑动窗口 18.3 获取大量数据和人工数据 18.4 上限分析：哪部分管道的接下去做 18.1 问题描述和流程图 图像文字识别应用所作的事是，从一张给定的图片中识别文字。这比从一份扫描文档中 识别文字要复杂的多。 为了完成这样的工作，需要采取如下步骤： 1. 文 ...
分类：
移动开发 时间：
2017-05-14 20:28:15
阅读次数：
297
1GBDT和LR融合 LR模型是线性的，处理能力有限，所以要想处理大规模问题，需要大量人力进行特征工程，组合相似的特征，例如user和Ad维度的特征进行组合。 GDBT天然适合做特征提取，因为GBDT由回归树组成所以， 每棵回归树就是天然的有区分性的特征及组合特征，然后给LR模型训练，提高点击率预估 ...
分类：
其他好文 时间：
2017-05-07 00:11:05
阅读次数：
535
1.三音素建模存在的问题 问题一：很多三音素在训练数据中没有出现(尤其跨词三音素) 问题二：在训练数据中出现过的三音素有相当一部分出现的频次较少 因此，三音素模型训练时存在较严重的数据不足问题 2.参数共享 1)何为参数共享？ 对于一个HMM模型来说，有如下参数： 两个模型之间参数共享，意为： 如： ...
分类：
其他好文 时间：
2017-05-02 13:38:13
阅读次数：
277
http://blog.csdn.net/zouxy09/article/details/24971995 机器学习中的范数规则化之（一）L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与 ...
分类：
其他好文 时间：
2017-04-30 12:24:21
阅读次数：
248
要弄明白ks值和auc值的关系首先要弄懂roc曲线和ks曲线是怎么画出来的。其实从某个角度上来讲ROC曲线和KS曲线是一回事，只是横纵坐标的取法不同而已。拿逻辑回归举例，模型训练完成之后每个样本都会得到一个类概率值（注意是类似的类），把样本按这个类概率值排序后分成10等份，每一份单独计算它的真正率和 ...
分类：
其他好文 时间：
2017-04-18 15:32:15
阅读次数：
357
一、关于spark ml pipeline与机器学习 一个典型的机器学习构建包含若干个过程 1、源数据ETL 2、数据预处理 3、特征选取 4、模型训练与验证 以上四个步骤可以抽象为一个包括多个步骤的流水线式工作，从数据收集开始至输出我们需要的最终结果。因此，对以上多个步骤、进行抽象建模，简化为流水 ...
分类：
其他好文 时间：
2017-04-17 09:34:50
阅读次数：
321
1.引入库 首先引入keras: 接下来根据程序需要引入datasets,models,layers等，例如keras github里的cifar-10例程中写到： 2.构造数据 第一步，我们需要根据模型训练时需要的数据格式来构造数据的shape，有三种方法： (1)载入他人提供的已经制作好的数据集 ...
分类：
其他好文 时间：
2017-04-04 22:09:46
阅读次数：
1496
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。 1、序言 本文所讲的内容主要为以下列表中相关函数。函数training()通过梯度下降法为 ...
分类：
其他好文 时间：
2017-03-30 23:36:58
阅读次数：
573
