第四步：通过Spark的IDE搭建并测试Spark开发环境Step1：导入Spark-hadoop对应的包，次选择“File”–>“ProjectStructure”–>“Libraries”，选择“+”，将spark-hadoop对应的包导入:点击“OK”确认：点击“OK”:IDEA工作完成后会发现Spark的jar包导入到了我们的工程中..
分类：
其他好文 时间：
2014-09-26 01:10:28
阅读次数：
365
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第13期互动问答分享】Q1：tachyon+spark框架现在有很多大公司在使用吧?Yahoo!已经在长期大规模使用；国内也有公司在使用；Q2：impala和sparksql如何选择呢？Impala已经被官方宣布“安乐死”，被官方温柔的放弃；Spark..
分类：
其他好文 时间：
2014-09-24 13:32:07
阅读次数：
244
点击确认后出现如下视图：点击“Restart”重新启动：再次运行我们的第一个Scala程序：发现我们完全使用了新的背景，同时正确运行了程序，与第一次运行相比，速度快了很多。
分类：
其他好文 时间：
2014-09-24 12:59:57
阅读次数：
178
此时把我们的“firstScalaApp”的源代码修改为如下内容：此时我们点击“firstScalaApp”的右键选择“RunScalaConsole”出现如下提示：这是由于我们还没有设置Java的JDK路径，点击“OK”，进入如下视图：此时我们选择最左侧的“Project”选项：此时我们选择“NoSDK”的“New”初..
分类：
其他好文 时间：
2014-09-23 13:39:05
阅读次数：
196
配置完成后保存退出并执行source命令使配置文件生效。Step3：运行IDEA并安装和配置IDEA的Scala开发插件：官方文档指出：我们进入IDEA的bin目录：此时，运行“idea.sh”出现如下界面：此时需要选择“Configure”进入IDEA的配置页面：选择“Plugins”，进入插件安装界面：此时点..
分类：
其他好文 时间：
2014-09-19 14:01:46
阅读次数：
285
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂
【第12期互动问答分享】Q1：jobserver
企业使用情况如何？中国有一家视频网站已经使用超过JobServer超过半年的时间；2013年和2014年Spark
Summit均大力推荐使用JobServer；Q2：请问，jobserver是适合企业内部还是供外..
分类：
其他好文 时间：
2014-09-19 13:59:36
阅读次数：
186
第二步：使用Spark的cache机制观察一下效率的提升基于上面的内容，我们在执行一下以下语句：发现同样计算结果是15.此时我们在进入Web控制台：发现控制台中清晰展示我们执行了两次“count”操作。现在我们把“sparks”这个变量执行一下“cache”操作：此时在执行count操作，查看..
分类：
其他好文 时间：
2014-09-17 15:35:23
阅读次数：
232
Q1：docker成熟度如何？Docker是2013年和2014年最火爆的云计算开源项目；Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使用Docker全面全面升级了自己的BAE，升级后的BAE无论是性能还是业务表现均超出预期；Q2：Docker与云计算..
分类：
其他好文 时间：
2014-09-12 15:27:54
阅读次数：
198
对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林把Spark集群的构建分为了四个步骤，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。从零起步，构建Spark集群经典四部曲：第一步..
分类：
其他好文 时间：
2014-09-12 15:25:14
阅读次数：
240
第二步：安装每个软件安装Vmware虚拟机点击“VMware-workstation-full-9.0.2-1031769”可执行文件，如下图所示：点击“Next”进入下一步：我们选择“Custom”进入下一步；2.选择所有的功能，如下所示：我们选择“Custom”进入下一步；2.选择所有的功能，如下所示：点击”Next”..
分类：
其他好文 时间：
2014-09-12 15:22:04
阅读次数：
269
