[Spark@Master hadoop]$ sbin/start-dfs.sh14/11/19 18:07:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using ...
分类：
其他好文 时间：
2014-11-19 20:12:24
阅读次数：
365
方式一: hadoop命令导出hadoop fs -get hdfs://hadoop000:8020/data/page_views2 pv2方式二:通过insert...directory导出 【spark暂不支持】导出到本地：INSERT OVERWRITE LOCAL directory.....
分类：
其他好文 时间：
2014-11-19 18:12:24
阅读次数：
181
诞生50多年之后，函数式编程（functional programming）开始获得越来越多的关注。不仅最古老的函数式语言Lisp重获青春，而且新的函数式语言层出不穷，比如Erlang、clojure、Scala、F#等等。目前最当红的Python、Ruby、Javascript，对函数式编程的支持...
分类：
其他好文 时间：
2014-11-19 15:44:51
阅读次数：
279
参考自http://stackoverflow.com/questions/19478244/how-does-a-case-anonymous-function-really-work-in-scalahttp://www.scala-lang.org/files/archive/nightly/...
分类：
其他好文 时间：
2014-11-19 15:32:55
阅读次数：
244
第三步：测试Spark集群 把Spark安装包下的”README.txt”上传到 通过hdfs的web控制台可以发现成功上传了文件： 使用“MASTER:spark://SparkMaster:7077?./spark-shell”命令启动Spark?shell： 接下来通过以下命...
分类：
其他好文 时间：
2014-11-19 14:21:03
阅读次数：
211
第三步：测试Spark集群把Spark安装包下的”README.txt”上传到通过hdfs的web控制台可以发现成功上传了文件：使用“MASTER:spark://SparkMaster:7077./spark-shell”命令启动Sparkshell：接下来通过以下命令读取刚刚上传到HDFS上的“...
分类：
其他好文 时间：
2014-11-19 14:08:57
阅读次数：
220
1. expect安装Expect是基于Tcl语言的一种脚本语言，其实无论是交互还是非交互的应用场合，Expect都可以大显身手，但是对于交互式的特定场合，还非Except莫属。第1步：使用root用户登录 第2步：下载安装文件expect-5.43.0.tar.gz 和 tcl8.4.11-src...
分类：
其他好文 时间：
2014-11-19 12:34:07
阅读次数：
290
为了支持hbase0.98.6，需要重新编译spark1. 下载spark 1.1.0源代码，以及scala-2.10.4的bin包。将环境变量 SCALA_HOME 设置为scala-2.10.4 的目录位置。2. 下载较新的pom.xml (https://github.com/tedyu/sp...
分类：
其他好文 时间：
2014-11-19 12:16:35
阅读次数：
481
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”?从Web的角度看一下SparkUI的情况，如下图所示： 当然，你也可以查看一些其它的信息，例如Environment: ? 同时，...
分类：
其他好文 时间：
2014-11-19 02:24:01
阅读次数：
265
此时我们进入了Spark的shell世界，根据输出的提示信息，我们可以通过“http://SparkMaster:4040”从Web的角度看一下SparkUI的情况，如下图所示：当然，你也可以查看一些其它的信息，例如Environment:同时，我们也可以看一下Executors：至此，我们的Spa...
分类：
其他好文 时间：
2014-11-18 23:59:23
阅读次数：
386
