环境:
Unbunt 12.04
Hadoop 2.2.x
Sprak 0.9
Scala scala-2.9.0.final.tgz
步骤
1. 下载 scala
2. 解压scala,然后修改/etc/profile,添加如下
export SCALA_HOME=/home/software/scala-2.9.0.final
export PATH=$P...
分类:
其他好文 时间:
2014-06-05 11:52:46
阅读次数:
484
前言
今天Spark终于跨出了里程碑的一步,1.0.0版本的发布标志着Spark已经进入1.0时代。1.0.0版本不仅加入了很多新特性,并且提供了更好的API支持。Spark SQL作为一个新的组件加入,支持在Spark上存储和操作结构化的数据。已有的标准库比如ML、Streaming和GraphX也得到了很大程度上的增强,对Spark和Python的接口也变得更稳定。以下是几个主要的改进点...
分类:
其他好文 时间:
2014-06-03 00:43:41
阅读次数:
269
Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapRed...
分类:
其他好文 时间:
2014-05-30 14:23:07
阅读次数:
409
自从建了Spark交流的QQ群之后,热情加入的同学不少,大家不仅对Spark很热衷对于Storm也是充满好奇。大家都提到一个问题就是有关storm内部实现机理的资料比较少,理解起来非常费劲。尽管自己也陆续对storm的源码走读发表了一些博文,当时写的时候比较匆忙,有时候衔接的不是太好,此番做了一些整...
分类:
其他好文 时间:
2014-05-30 07:25:09
阅读次数:
286
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建,该方法接受文件的URI地址(或者机器上的文件本地路径,或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例:scala> val distFile...
分类:
其他好文 时间:
2014-05-29 18:58:27
阅读次数:
429
作者:flyinghearts出处:http://www.cnblogs.com/flyinghearts/又一次看到讨论“洗牌”算法的文章,奇怪不少人喜欢造轮子,但造的轮子却远没有STL的random_shuffle好用。
若某个序列里面的每个元素在每个位置已经等概率出现,那么新增加一个元素,只....
分类:
其他好文 时间:
2014-05-26 22:14:15
阅读次数:
354
25.Collections类:
Collections类是一个工具类,用来对集合进行操作,它主要是提供一些排序算法,包括随机排序、反相排序等。
Collections类提供了一些静态方法,实现了基于List容器的一些常用算法。
Collections的一些方法列表:
· void sort(List): 对List内的元素进行排序。
· void shuffle(List):...
分类:
编程语言 时间:
2014-05-25 01:47:51
阅读次数:
319
折腾了好几天,终于可以在CenOS下用eclipse写spark程序了当前环境是CentOS6.5,jdk7,scala2.10.4,spark0.9.1前期因为对linux不熟悉的原因花了不少时间查阅命令。折腾了不少时间,终于把jdk8,scala2.11.0环境变量配置好了。在此环境下可以正常编...
分类:
其他好文 时间:
2014-05-23 06:01:28
阅读次数:
312