码迷,mamicode.com
首页 > 其他好文 > 详细

Tachyon基本使用04-----Tachyon配置项

时间:2014-10-14 20:55:19      阅读:242      评论:0      收藏:0      [点我收藏+]

标签:tachyon   hadoop   spark   

一、Tachyon配置说明

Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations

环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template

额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTSTACHYON_WORKER_JAVA_OPTS配置中。在模板文件,TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTSTACHYON_WORKER_JAVA_OPTS调用。

例如,如果你想使Java7001端口远程调试在Master上,你可以修改TACHYON_MASTER_JAVA_OPTS是这样的:

exportTACHYON_MASTER_JAVA_OPTS="$TACHYON_JAVA_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=7001"


二、Tachyon常用配置

属性名默认值含义
tachyon.home"/mnt/tachyon_default_home"Tachyon的安装目录
tachyon.underfs.address$tachyon.home + "/underfs"Tachyon底层文件系统目录
tachyon.data.folder$tachyon.underfs.address + "/tachyon/data"Tachyon底层文件系统数据目录
tachyon.workers.folder$tachyon.underfs.address + "/tachyon/workers"
Tachyon worke目录
tachyon.usezookeeperfalse是否使用zookeeper来进行master容错
tachyon.zookeeper.addressnullZookeeper地址
tachyon.zookeeper.election.path"/election"Zookeeper选举文件夹
tachyon.zookeeper.leader.path"/leader"Zookeeperleader文件夹
tachyon.underfs.hdfs.impl"org.apache.hadoop.hdfs.DistributedFileSystem"HDFS底层文件系统实现类
tachyon.max.columns
1000RawTable允许的最大列数,必须在客户端和服务器端设置
tachyon.table.metadata.byte5242880RawTable的元数据中最大允许多少字节
fs.s3n.awsAccessKeyIdnullS3 AWS访问密钥ID
fs.s3n.awsSecretAccessKeynullS3 aws 加密访问Key ID
tachyon.underfs.glusterfs.mountsnullGlusterfs卷装入点,如/
tachyon.underfs.glusterfs.volumesnullGlusterfs卷名,如tachyon_vol
tachyon.underfs.glusterfs.mapred.system.dirglusterfs:///mapred/system根据需要指定GLusterfsMapReduce的数据子目录

三、Master配置

tachyon.master.journal.folder$tachyon.home +"/journal/"master journal log 存储目录
tachyon.master.hostnamelocalhostMaster主机名
tachyon.master.port19998Master节点运行端口
tachyon.master.web.port19999WEB接口运行端口
tachyon.master.whitelist/缓存路径

四、Wroker配置

tachyon.worker.port29998Worker节点运行端口
tachyon.worker.data.port29999Worker数据服务运行端口
tachyon.worker.data.folder/mnt/ramdiskWorker节点数据目录
tachyon.worker.memory.size128 MBWorker几点内存容量

五、用户配置

tachyon.user.failed.space.request.limits3文件系统终止之前的时间
tachyon.user.quota.unit.bytes8 MB客户端请求Worker几点的最小大小
tachyon.user.file.buffer.bytes1 MB文件缓冲区大小
tachyon.user.default.block.size.byte1 GBTachyon文件默认的block size
tachyon.user.remote.read.buffer.size.byte1 MB从远程worker读取数据的缓冲区大小


本文出自 “tachyon” 博客,请务必保留此出处http://ucloud.blog.51cto.com/3869454/1564007

Tachyon基本使用04-----Tachyon配置项

标签:tachyon   hadoop   spark   

原文地址:http://ucloud.blog.51cto.com/3869454/1564007

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!