关于分布式系统的简单说明

标签：

最近略忙，一直没机会把Spark系统情况跟二位交代一下。。。

简单说说，如果有时间的话再作补充。

当前共三个节点：tianchi-node1(202.113.76.229),tianchi-node2(某公网ip)和tianchi-node3(202.113.76.35)。

登录主机的用户帐号（三台相同）：tianchi

密码：alibaba

系统所用软件及版本：Hadoop 2.6.0, Spark 1.3.0

软件位置（三台主机相同）：/home/tianchi/project-base/tianchi/software/hadoop-2.6.0, /home/tianchi/project-base/tianchi/software/spark-1.3.0-bin-hadoop2.4

如果想启/停分布式系统或进行其他操作的话可以参考相关文档。

Hadoop: （可以跳过对配置选项的讲解，直接看底部的操作命令。咱目前只需使用hadoop提供的文件系统HDFS，不用启动Yarn、Mapreduce什么的）

http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/ClusterSetup.html

Spark:  （Spark集群有多种架构方式，我们采用的是standalone模式。以下四篇官方文档涵盖了对standalone模式的讲解、如何提交并执行spark程序、常用的spark编程接口和机器学习库的使用，看完这些就应该可以上手操作了）

http://spark.apache.org/docs/latest/spark-standalone.html

http://spark.apache.org/docs/latest/submitting-applications.html

http://spark.apache.org/docs/latest/programming-guide.html

http://spark.apache.org/docs/latest/mllib-guide.html

在HDFS系统和Spark系统中我都是将tianchi-node1即202.113.76.229当作master节点，所以HDFS文件系统的路径前缀总是“hdfs://tianchi-node1:9000”，Spark master参数总是"spark://tianchi-node1:7077"。

HDFS使用方法请自行百度，提交并运行作业的具体方法请参考上面给出的spark官方文档，如果还有问题的话可以找我。

查看HDFS系统状态：http://202.113.76.229:50070/dfshealth.html#tab-overview

Spark系统状态：http://202.113.76.229:8080/

ok，就这么多，有时间再补充。

by yx

关于分布式系统的简单说明

标签：

原文地址：http://www.cnblogs.com/smilelemon/p/4415496.html