码迷,mamicode.com
首页 > 其他好文 > 详细

Tachyon内存文件系统快速入门

时间:2019-09-15 18:47:37      阅读:79      评论:0      收藏:0      [点我收藏+]

标签:mamicode   根据   自身   分布式   清理   自己的   获得   功能   用户空间   

一.简介

  Tachyon是介于磁盘存储和计算框架之间的一种中间件,用于实现分布式的内存文件读写等功能,实现分布式集群内部共享数据。

  技术图片

  应用实例:

  技术图片

二.架构

  技术图片

 

 

   1.心跳机制

    在Tachyon中,心跳用于Master/Worker/Client之间的定期通信以及Master/Worker自身的状态自检。

    >Client向Master发送心跳信号,表示Client仍处在连接中,Client释放连接后重新获取连接会获得新的UserId。

    >Client向Worker发送心跳信号,表示Client仍处在连接中,Client释放连接后Worker会回收该Client的用户空间。

    >Worker自检,向Master发送心跳信号,Worker将自己的存储空间信息更新给Master【容量,移除的块信息】,同时清理超时的用户,回收用户空间。

    >Master自检,检查所有Worker的状态,若有Worker失效,会统计丢失的文件并尝试重启该Worker。

  2.文件组织

    技术图片

 

     备注:与HDFS类似,Tachyon文件存储也是以块为单位的,在存储时,会先把文件拆分成一个一个的块,之后根据存储级别以及备份策略把一个一个的块分别存储到不同的节点之上。

 

Tachyon内存文件系统快速入门

标签:mamicode   根据   自身   分布式   清理   自己的   获得   功能   用户空间   

原文地址:https://www.cnblogs.com/yszd/p/11523644.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!