Q1：docker成熟度如何？Docker是2013年和2014年最火爆的云计算开源项目；Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使用Docker全面全面升级了自己的BAE，升级后的BAE无论是性能还是业务表现均超出预期；Q2：Docker与云计算..
分类：
其他好文 时间：
2014-09-12 15:27:54
阅读次数：
198
对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林把Spark集群的构建分为了四个步骤，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。从零起步，构建Spark集群经典四部曲：第一步..
分类：
其他好文 时间：
2014-09-12 15:25:14
阅读次数：
240
第二步：安装每个软件安装Vmware虚拟机点击“VMware-workstation-full-9.0.2-1031769”可执行文件，如下图所示：点击“Next”进入下一步：我们选择“Custom”进入下一步；2.选择所有的功能，如下所示：我们选择“Custom”进入下一步；2.选择所有的功能，如下所示：点击”Next”..
分类：
其他好文 时间：
2014-09-12 15:22:04
阅读次数：
269
1、运行spark报出如下错误： org.apache.hadoop.security.AccessControlException: Permission denied: 解决方法，添加用户：如下 sudo -u hdfs hadoop fs -mkdir /user/stat sudo -u hdfs hadoop fs -chown roo...
分类：
其他好文 时间：
2014-09-12 12:08:13
阅读次数：
205
Q1：docker成熟度如何？ ???????? Docker是2013年和2014年最火爆的云计算开源项目； ???????? Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使...
分类：
其他好文 时间：
2014-09-12 12:08:03
阅读次数：
392
./bin/spark-shell --master spark://MASTER:PORT启动集群模式：MASTER=spark://`hostname`:7077 bin/spark-shellbin/spark-shell --master spark://es122:7077单机模式：bin...
分类：
其他好文 时间：
2014-09-12 11:52:33
阅读次数：
183
1、POM.xml 1 3 4.0.0 4 5 org.hansight.spark 6 examples 7 0.0.1-SNAPSHOT 8 jar 9 10 examples 11 http://maven.apac...
分类：
编程语言 时间：
2014-09-12 11:43:53
阅读次数：
345
单机运行Standalone使用Spark本身提供的资源管理器，可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具：Chef
分类：
其他好文 时间：
2014-09-12 11:41:33
阅读次数：
156
Spark 0.6.0开始支持此功能准备：运行Spark-on-YARN需要Spark的二进制发布包。参考编译配置：环境变量：SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量，可以省略。 例如：SPARK_YARN_USER_ENV="JAVA_H...
分类：
其他好文 时间：
2014-09-12 11:38:33
阅读次数：
222
1、垃圾回收在conf/spark-env.sh中添加SPARK_JAVA_OPTS=-verberos:gc -XX;+PrintGCDetails -XX:+PrintGCTimeStamps如果发现集群耗费过多时间在垃圾回收上，可以通过spark.storage.memoryFaction调低...
分类：
其他好文 时间：
2014-09-12 11:35:43
阅读次数：
234
