码迷,mamicode.com
首页 > 其他好文 > 详细

Spark官方文档中推荐的硬件配置

时间:2015-07-31 17:41:58      阅读:144      评论:0      收藏:0      [点我收藏+]

标签:

1、关于存储:

1)、可能的话,Spark节点与HDFS节点是一一对应的

2)、如果做不到,那至少保证Spark节点与HDFS节点是一个局域网内

 

2、关于硬盘:

1)、官方推荐每台机子4-8个硬盘,然后不需要做RAID(因为本身你的硬盘就是用来做),配置 spark.local.dir结点啦

 

3、关于内存

1)、官方建议给spark配置当前机器内存的75%比较合理

2)、当一个节点的内存超过200G的时候,建议将当前节点的worker换成两个,平均分配你的资源。  因为超过200G后,JAVA的JVM表现的不太好。

 

4、网络

1)、官方是建议千兆以上的多网上(十个?), 这个怎么配置我不太懂,运维真的是一窍不通啦。  后期再去琢磨

 

 

5、CPU

1)、官方建议至少每个节点要8-16个CPU,这个要看情况啦。

Spark官方文档中推荐的硬件配置

标签:

原文地址:http://www.cnblogs.com/hark0623/p/4692518.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!