Spark机器学习Pipelines中的主要概念MLlib提供的API可以通过Pipelines将多个复杂的机器学习算法结合成单个pipeline或者单个工作流。这个概念和scikit-learn里的概念类似，根据官方的说法是，此抽象概念的设计灵感来自于scikit-learn。·DataFrame:通过SparkSQL组件里的DataFram..
分类：
其他好文 时间：
2017-03-08 01:27:33
阅读次数：
326
1.安装工具ipython https://www.continuum.io/downloads 选择自己需要的版本 2.安装过程 （1）赋权限 chmod u+x ./Anaconda2-4.2.0-Linux-x86_64.sh （2）回车 [root@hadoop161 tool]# ./An ...
分类：
其他好文 时间：
2017-01-01 22:48:44
阅读次数：
417
Spark机器学习 1 在线学习 模型随着接收的新消息，不断更新自己；而不是像离线训练一次次重新训练。 2 Spark Streaming 离散化流(DStream) 输入源：Akka actors、消息队列、Flume、Kafka、…… http://spark.apache.org/docs/l ...
分类：
其他好文 时间：
2016-12-27 14:23:03
阅读次数：
245
Spark机器学习· 实时机器学习http://click.aliyun.com/m/8713/Redis与KV存储(RocksDB)融合之编码方式http://click.aliyun.com/m/8714/阿里技术总监郭东白：创新之歌该如何唱http://click.aliyun.com/m/8 ...
分类：
其他好文 时间：
2016-12-27 14:18:57
阅读次数：
195
http://blog.csdn.net/pipisorry/article/details/52366356Spark编程模型SparkContext类和SparkConf类我们可通过如下方式调用 ...
分类：
其他好文 时间：
2016-11-21 11:22:19
阅读次数：
321
基本公式推导理论部分：SVM涉及的理论知识太多太繁杂了，大家直接看：
支持向量机通俗导论（理解SVM的三层境界） http://blog.csdn.net/v_july_v/article/det...
分类：
其他好文 时间：
2016-10-22 12:24:45
阅读次数：
403
K近邻应用-异常检测应用 原理： 根据数据样本进行KMeans机器学习模型的建立，获取簇心点，以簇为单位，离簇心最远的第五个点的距离为阈值，大于这个值的为异常点，即获得数据异常。 如图： 数据样本： 数据样本的数据格式为：标号，特征值1，特征值2（没有具体含义，自动生成的数据只为能够简单的说明异常检 ...
分类：
其他好文 时间：
2016-09-18 23:30:33
阅读次数：
252
Transformer： 是一个抽象类包含特征转换器， 和最终的学习模型， 需要实现transformer方法 通常transformer为一个RDD增加若干列， 最终转化成另一个RDD， 1. 特征转换器通常处理一个dataset， 把其中一列数据转化成一列新的数据。 并且把新的数据列添加到dat ...
分类：
其他好文 时间：
2016-09-08 21:47:52
阅读次数：
140
声明：版权所有，转载请联系作者并注明出处 http://blog.csdn.net/u013719780?viewmode=contents
博主简介：风雪夜归子（英文名：Allen），机器学习算法攻城狮，喜爱钻研Meachine Learning的黑科技，对Deep Learning和Artificial Intelligence充满兴趣，经常关注Kaggle数据挖掘竞赛平台，对...
分类：
编程语言 时间：
2016-07-03 20:06:50
阅读次数：
363
