环境：
Unbunt 12.04
Hadoop 2.2.x
Sprak 0.9
Scala scala-2.9.0.final.tgz
步骤
1. 下载 scala
2. 解压scala，然后修改/etc/profile，添加如下
export SCALA_HOME=/home/software/scala-2.9.0.final
export PATH=$P...
分类：
其他好文 时间：
2014-06-05 11:52:46
阅读次数：
484
前言
今天Spark终于跨出了里程碑的一步，1.0.0版本的发布标志着Spark已经进入1.0时代。1.0.0版本不仅加入了很多新特性，并且提供了更好的API支持。Spark SQL作为一个新的组件加入，支持在Spark上存储和操作结构化的数据。已有的标准库比如ML、Streaming和GraphX也得到了很大程度上的增强，对Spark和Python的接口也变得更稳定。以下是几个主要的改进点...
分类：
其他好文 时间：
2014-06-03 00:43:41
阅读次数：
269
1，准备编译环境# apt-get install
build-essential下载所需安装包，openssl-1.0.1g.tar.gzpcre-8.35.tar.gzzlib-1.2.8.tar.gznginx_mod_h264_streaming-2.2.7.tar.gznginx-1.6....
分类：
其他好文 时间：
2014-05-31 21:19:58
阅读次数：
372
写在前面前文：用python + hadoop streaming 编写分布式程序（一） --
原理介绍，样例程序与本地调试为了方便，这篇文章里的例子均为伪分布式运行，一般来说只要集群配置得当，在伪分布式下能够运行的程序，在真实集群上也不会有什么问题。为了更好地模拟集群环境，我们可以在mapred-...
分类：
编程语言 时间：
2014-05-30 14:56:56
阅读次数：
309
Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapRed...
分类：
其他好文 时间：
2014-05-30 14:23:07
阅读次数：
409
自从建了Spark交流的QQ群之后，热情加入的同学不少，大家不仅对Spark很热衷对于Storm也是充满好奇。大家都提到一个问题就是有关storm内部实现机理的资料比较少,理解起来非常费劲。尽管自己也陆续对storm的源码走读发表了一些博文，当时写的时候比较匆忙，有时候衔接的不是太好，此番做了一些整...
分类：
其他好文 时间：
2014-05-30 07:25:09
阅读次数：
286
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例：scala> val distFile...
分类：
其他好文 时间：
2014-05-29 18:58:27
阅读次数：
429
GPU 的硬件基本概念Nvidia的版本： 实际上在 nVidia 的 GPU
里，最基本的处理单元是所谓的 SP(Streaming Processor)，而一颗 nVidia 的 GPU 里，会有非常多的 SP 可以同时做计算;而数个
SP 会在附加一些其他单元，一起组成一个 SM(Strea....
分类：
其他好文 时间：
2014-05-28 18:59:32
阅读次数：
292
