把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在hadoop目录下按照如下命令创建文件夹：接下..
分类：
其他好文 时间：
2014-10-09 20:58:38
阅读次数：
216
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：
修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。
接下来在hadoop目录下按照如下命令创建文件夹：
\接下来开始...
分类：
其他好文 时间：
2014-10-09 16:17:18
阅读次数：
181
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第15期互动问答分享】Q1：AppClient和worker、master之间的关系是什么？:AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应用程序的代表，要完成程序的registerApplication等功能；当程序完成..
分类：
其他好文 时间：
2014-10-08 17:59:06
阅读次数：
166
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】
Q1：AppClient和worker、master之间的关系是什么？
AppClient是在StandAlone模式下SparkContext.runJob的时候...
分类：
其他好文 时间：
2014-10-08 16:47:15
阅读次数：
212
第四步：通过Spark的IDE搭建并测试Spark开发环境Step1：导入Spark-hadoop对应的包，次选择“File”–>“ProjectStructure”–>“Libraries”，选择“+”，将spark-hadoop对应的包导入:点击“OK”确认：点击“OK”:IDEA工作完成后会发现Spark的jar包导入到了我们的工程中..
分类：
其他好文 时间：
2014-09-26 01:10:28
阅读次数：
365
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第13期互动问答分享】Q1：tachyon+spark框架现在有很多大公司在使用吧?Yahoo!已经在长期大规模使用；国内也有公司在使用；Q2：impala和sparksql如何选择呢？Impala已经被官方宣布“安乐死”，被官方温柔的放弃；Spark..
分类：
其他好文 时间：
2014-09-24 13:32:07
阅读次数：
244
点击确认后出现如下视图：点击“Restart”重新启动：再次运行我们的第一个Scala程序：发现我们完全使用了新的背景，同时正确运行了程序，与第一次运行相比，速度快了很多。
分类：
其他好文 时间：
2014-09-24 12:59:57
阅读次数：
178
此时把我们的“firstScalaApp”的源代码修改为如下内容：此时我们点击“firstScalaApp”的右键选择“RunScalaConsole”出现如下提示：这是由于我们还没有设置Java的JDK路径，点击“OK”，进入如下视图：此时我们选择最左侧的“Project”选项：此时我们选择“NoSDK”的“New”初..
分类：
其他好文 时间：
2014-09-23 13:39:05
阅读次数：
196
配置完成后保存退出并执行source命令使配置文件生效。Step3：运行IDEA并安装和配置IDEA的Scala开发插件：官方文档指出：我们进入IDEA的bin目录：此时，运行“idea.sh”出现如下界面：此时需要选择“Configure”进入IDEA的配置页面：选择“Plugins”，进入插件安装界面：此时点..
分类：
其他好文 时间：
2014-09-19 14:01:46
阅读次数：
285
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂
【第12期互动问答分享】Q1：jobserver
企业使用情况如何？中国有一家视频网站已经使用超过JobServer超过半年的时间；2013年和2014年Spark
Summit均大力推荐使用JobServer；Q2：请问，jobserver是适合企业内部还是供外..
分类：
其他好文 时间：
2014-09-19 13:59:36
阅读次数：
186
