概念： Spark是加州大学伯克利分校AMP实验室，开发的通用内存并行计算框架。 支持用scala、java和Python等语言编写应用程序。相较于Hdoop，往往有更好的运行效率。 Spark包括了Spark Core, Spark SQL, SparkStreaming,MLlib和Graphx ...
分类：
其他好文 时间：
2017-08-15 21:04:27
阅读次数：
168
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch ...
分类：
编程语言 时间：
2017-07-22 12:13:35
阅读次数：
242
一开始是因为没法直接在pyspark里使用map 来做model predict，但是scala是可以的！如下： When we use Scala API a recommended way of getting predictions for RDD[LabeledPoint] using De ...
分类：
其他好文 时间：
2017-07-21 17:15:00
阅读次数：
248
from numpy import array from pyspark.mllib.regression import LabeledPoint from pyspark.mllib.tree import DecisionTree, DecisionTreeModel from pyspark ... ...
分类：
编程语言 时间：
2017-07-11 17:55:41
阅读次数：
360
Spark大数据计算框架、架构、计算模型和数据管理策略及Spark在工业界的应用。围绕Spark的BDAS项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，本章只进行简要介绍，后续章..
分类：
其他好文 时间：
2017-07-07 20:18:35
阅读次数：
128
Spark MLlib介绍 Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因： （1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任 ...
分类：
其他好文 时间：
2017-07-06 13:26:57
阅读次数：
254
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.2 http://blog.csdn.net/sunbow0 第二章Deep Belief Network (深度信念网络) 2基础及源代码解析 2.1 Deep Belief ...
分类：
Web程序 时间：
2017-06-30 14:06:02
阅读次数：
293
1、Spark MLlib LDA源代码解析 http://blog.csdn.net/sunbow0 Spark MLlib LDA 应该算是比較难理解的，当中涉及到大量的概率与统计的相关知识，并且还涉及到了Spark GraphX图计算方面的知识。要想明确当中的原理得要下一番功夫。LDA源代码解 ...
分类：
其他好文 时间：
2017-06-28 21:41:38
阅读次数：
267
本文主要包括以下内容： 1）模型训练数据生成（demo） 2 ) 模型训练（spark+java）,数据存储在hdfs上 3）预测数据生成（demo） 4）使用生成的模型进行文本分类。 一、训练数据生成 spark mllib模型训练的输入数据格式通常有两种，一种叫做 LIBSVM 格式，样式如下： ...
分类：
编程语言 时间：
2017-06-22 10:02:50
阅读次数：
559
