现有的hadoop生态系统中存在的问题1）使用mapreduce进行批量离线分析；2）使用hive进行历史数据的分析；3）使用hbase进行实时数据的查询；4）使用storm进行实时的流处理；5）。。。。。。导致：维护成本高、学习成本高Spark的出现弥补了Hadoop生态系统中的缺陷，使用spar...
分类：
其他好文 时间：
2014-06-28 14:08:46
阅读次数：
306
前提：安装好jdk1.7，hadoop安装步骤：1、安装scala下载地址：http://www.scala-lang.org/download/配置环境变量：export SCALA_HOME=/..../scalaexport PATH=.:$SCALA_HOME/bin ....验证：sca....
分类：
其他好文 时间：
2014-06-28 14:08:09
阅读次数：
404
导读看这篇文章的时候，最好是能够跟着代码一起看，我是边看代码边写的，所以这篇文章的前进过程也就是我看代码的推进过程。作业执行上一章讲了RDD的转换，但是没讲作业的运行，它和Driver Program的关系是啥，和RDD的关系是啥？官方给的例子里面，一执行collect方法就能出结果，那我们就从co...
分类：
其他好文 时间：
2014-06-28 13:54:31
阅读次数：
257
在spark1.0中属性支持三种配置方式：1、代码在代码中构造SparkConf时指定master、appname或者key-value等val conf = new SparkConf();conf.setAppName("WordCount").setMaster(" spark://hadoo...
分类：
其他好文 时间：
2014-06-25 20:12:25
阅读次数：
286
线性回归(Linear Regression)问题属于监督学习（Supervised Learning）范畴，又称分类（Classification）或归纳学习(Inductive Learning);这类分析中训练数据集中给出的数据类标是确定的；机器学习的目标是，对于给定的一个训练数据集，通过不断的分析和学习产生一个联系属性集合和类标集合的分类函数(Classification Function)或预测函数(Prediction Function),这个函数称为分类模型(Classification Mo...
分类：
其他好文 时间：
2014-06-24 22:58:23
阅读次数：
585
在zed的PS端运行spark： （1）设置uboot为sd卡启动rootfs： "sdboot=if mmcinfo; then " \ "run uenvboot; " \ "echo Copying Linux from SD to RAM... && " \ ...
分类：
其他好文 时间：
2014-06-24 14:27:44
阅读次数：
497
0、参考自http://tech.uc.cn/?p=2116 http://www.csdn.net/article/2013-07-08/2816149 1、Spark是一个高效的分布式计算系统。它基于MapReduce（MR）算法实现分布式计算，但Job的中间输出和结果可以保存在内存，从...
分类：
其他好文 时间：
2014-06-24 11:32:46
阅读次数：
268
Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵和巧”。轻：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，...
分类：
其他好文 时间：
2014-06-23 07:25:53
阅读次数：
418
Spark Application可以在集群中并行运行，其关键是抽象出RDD的概念（详见RDD
细解），也使得Spark Application的开发变得简单明了。下图浓缩了Spark的编程模型。
1：Spark应用程序的结构
Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序
...
分类：
其他好文 时间：
2014-06-22 21:48:06
阅读次数：
311
spark 内存计算 分布式计算平台 Databricks...
分类：
其他好文 时间：
2014-06-21 21:23:20
阅读次数：
319
