Spark的爆发式的成长，今年Spark相关书籍明显比去年那时候多得多，这里面所国内外目前所有的书籍推荐给大家。因为在网络上，不便于将书籍的电子版公开出来，需要的可以私信我或加我微信：zhouzhihubeyond国内Spark书籍：
《Spark大数据处理：技术、应用与性能优化》，作者：高彦杰，出版社：机械工业出版社，出版时间：2014年11月，Spark版本：1.0；
《Spark大数据处理...
分类：
其他好文 时间：
2015-11-16 22:54:52
阅读次数：
328
结束historyserver的命令如下所示：第四步：验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录，创建过程如下所示：Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建..
分类：
其他好文 时间：
2014-11-03 16:35:08
阅读次数：
127
结束historyserver的命令如下所示：
第四步：验证Hadoop分布式集群
首先在hdfs文件系统上创建两个目录，创建过程如下所示：
Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建了两个文件夹：
...
分类：
其他好文 时间：
2014-11-03 16:31:40
阅读次数：
142
从控制台我们可以看见有两个DataNode，此时我们点击“LiveNodes”查看一下其信息：从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！第三步：启动yarn集群使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：而在SparkWo..
分类：
其他好文 时间：
2014-10-21 10:27:47
阅读次数：
163
第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件的最小化配置，core-site.xml各项配置可..
分类：
其他好文 时间：
2014-10-10 17:15:24
阅读次数：
210
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在hadoop目录下按照如下命令创建文件夹：接下..
分类：
其他好文 时间：
2014-10-09 20:58:38
阅读次数：
216
第四步：通过Spark的IDE搭建并测试Spark开发环境Step1：导入Spark-hadoop对应的包，次选择“File”–>“ProjectStructure”–>“Libraries”，选择“+”，将spark-hadoop对应的包导入:点击“OK”确认：点击“OK”:IDEA工作完成后会发现Spark的jar包导入到了我们的工程中..
分类：
其他好文 时间：
2014-09-26 01:10:28
阅读次数：
365
点击确认后出现如下视图：点击“Restart”重新启动：再次运行我们的第一个Scala程序：发现我们完全使用了新的背景，同时正确运行了程序，与第一次运行相比，速度快了很多。
分类：
其他好文 时间：
2014-09-24 12:59:57
阅读次数：
178
此时把我们的“firstScalaApp”的源代码修改为如下内容：此时我们点击“firstScalaApp”的右键选择“RunScalaConsole”出现如下提示：这是由于我们还没有设置Java的JDK路径，点击“OK”，进入如下视图：此时我们选择最左侧的“Project”选项：此时我们选择“NoSDK”的“New”初..
分类：
其他好文 时间：
2014-09-23 13:39:05
阅读次数：
196
配置完成后保存退出并执行source命令使配置文件生效。Step3：运行IDEA并安装和配置IDEA的Scala开发插件：官方文档指出：我们进入IDEA的bin目录：此时，运行“idea.sh”出现如下界面：此时需要选择“Configure”进入IDEA的配置页面：选择“Plugins”，进入插件安装界面：此时点..
分类：
其他好文 时间：
2014-09-19 14:01:46
阅读次数：
285
