Tachyon是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。本文讲述了Tachyon的重要概念、使用方法以及基本原理。...
分类：
其他好文 时间：
2014-12-09 09:26:53
阅读次数：
243
TachyonWorker 负责和tachyonMaster 交互， 直接通过 apache thrift 发送消息
tachyonworker 主要负责 3个部分， 启动 dataserver ， 心跳， 和 thrift server ，
其中 dataserver 负责内存数据和用户之间的读传输，目前thrift支持远程读数据， 写数据只能写到本地， 并对本地读取做了优化，...
分类：
其他好文 时间：
2014-11-30 23:16:57
阅读次数：
214
UCBerkeley研发的Tachyon(超光子['tæki???n]，名字要不要这么太嚣张啊：)是一款为各种集群并发计算框架提供内存数据管理的平台，也可以说是一种内存式的文件系统吧。如下图，它就处于这样一个层次：在现有存储系统如HDFS之上，在Spark，MapReduce，Impala等各种计算框架之下。为什么要有这么一个框架呢？MapReduce就不说了，但像Spark这种内存计算框架，为什...
分类：
其他好文 时间：
2014-11-27 20:29:10
阅读次数：
287
前言
这个系列是关于Tachyon的，主要基于《Reliable, Memory Speed Storage for Cluster Computing Frameworks 》这篇论文以及源码，最近工作比较忙，精力实在有限，可能更新得比较慢
简介
Tachyon是一个分布式文件系统，提供了一种可靠的方式，可以以访问内存的速度在不同的分布式计算框架之间共享数据。Tachy...
分类：
其他好文 时间：
2014-11-24 10:15:44
阅读次数：
173
一、tachyon命令介绍#tachyon
Usage:tachyonCOMMAND
whereCOMMANDisoneof:
format[-s]格式化FormatTachyon(如果指定-s参数,表示在underfs不存在时进行)
bootstrap-conf生成一个配置文件，如果不存在
tfs命令行客户端
loadufs加载三、Tachyon命令行操作现有的底层文件系统到Tach..
分类：
其他好文 时间：
2014-10-15 16:22:51
阅读次数：
220
一、安装zookeeper集群1.下载并解压zookeeper[root@node1soft]#tar-zxfzookeeper-3.4.5.tar.gz-C/usr/local/
[root@node1soft]#ln-s/usr/local/zookeeper-3.4.5//usr/local/zookeeper
[root@node1soft]#2.创建zookeeper数据目录[root@node1zookeeper]#pwd/usr/local/zookeeper
..
分类：
其他好文 时间：
2014-10-15 15:15:11
阅读次数：
237
