码迷,mamicode.com
首页 > 其他好文 > 详细

全球性革命数据存储,HDFS即将上线

时间:2020-08-12 15:37:17      阅读:61      评论:0      收藏:0      [点我收藏+]

标签:选择   data   博弈论   http   记录   单点   img   alt   优势   

全球性革命数据存储,HDFS即将上线

在这个互联网时代,随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。

分布式管理系统的最大的变化就是管理对象不再是单机本地分布的,而是分布于网络中。分布式系统同样要为用户提供对文件和目录的相关操作。

技术图片

那么分布式存储类型有哪些呢?

??? HDFS,顾名思义 Hadoop Distributed File System,翻译过来就是hadoop分布式文件系统,至于它的来历我就不说了,网上比比皆是。

分布式管理系统的最大的变化就是管理对象不再是单机本地分布的,而是分布于网络中。分布式系统同样要为用户提供对文件和目录的相关操作。

简单今天给大家介绍下HDFS技术创新,设计优势

HDFS使用可链接环签名和多重签名来改善整体性能系统的安全性。通过将交易过程与包装分开进程,其交易由虚拟机执行,实现了交易过程高效而有序。

HDFS正在构建基于Hadoop技术的区块链智能大数据存储系统。它可以提高用户访问效率,节省集群存储空间;作为区块链的基础开发平台,HDFS增加了基于数据可检索性(PoR)增加了区块链存储扩展性。运用博弈论有效地提高了网络的效率和实用性。HDFS提出了可验证抗合谋智能合约,使智能合约的应用更安全,公平,有效。任何人都放心在HDFS网络上创建智能合约。

解决矿工中心化问题
HDFS公链上设有矿工和验证节点。矿工在区块链中注册以参与出快的节点,验证节点记录注册后的旷工,验证节点以队列形式管理矿工,验证节点通过计算生成新矿工的矿工编号。所述验证节点通过随机选择算法得出下一个旷工编号。HDFS通过随机机制证明选择节点,解决了矿工在区块链中的集中化。计算方法简单,提高出块效率,而且计算时间短,消耗更少资源。随机生成旷工编号提高了DDOS***的难度难度并增强了网络安全性。

逆向兼容挖矿

为了抵御自私挖矿***,HDFS提出了逆向兼容协议。当矿工发现区块有两个相同长度的分叉(fork)时,同时在全网上广播它们,并且随机均匀的在这两个分支上继续挖矿。这样可以阻止那些控制少于1/4资源的自私矿池成为一个控制绝大多数资源的矿池。HDFS扩展了挖矿策略的空间,包括了“顽固”策略。证明了对于较大规模的策略空间来说自私挖矿并不是一个好的策略。

激励兼容支付功能
HDFS在矿工之间定义了一个HDFS挖矿博弈,提出了一种新的激励相容支付函数。该支付函数不仅考虑到每个旷工的份额还考虑到发现区块者的身份,使得收益分配更加合理。
区块链存储容量激励

现有的区块链云平台未充分利用计算每个节点的算力,结果导致区块链云平台的每个节点的算力闲置,无法对挖矿节点进行合理激励。在HDFS的存储容量,存储节点和验证节点提供了自己大量的磁盘空间,保证了用户节点数据安全。此外,HDFS还提出了针对存储节点和验证节点的激励机制。可以令他们自身作为用户节点,使用真实数据进行容量验证挖矿,获得HDFS奖励。

HDFS分布式存储的意义

分布式存储是由区块链激励构建的去中心化存储系统,是区块链和存储系统的有效结合。与企业存储和云存储相比,分布式存储具有更高的可靠性。将数据存储在全球数千万个节点上,而不是用多副本模式,而是更高级的冗余编码模式,它有效地避免了单点故障带来的负面影响。仅在硬盘故障这一项上,区块链存储的可靠性就比云存储的10的64次方,而整体可靠性至少是云存储的10,000倍。分布式存储通过将负载分散到各地的节点上,提高可用性。在服务可用性方面,分布式存储至少比云存储高出1亿倍。此外,分布式存储成本更低,因为区块链技术对去除数据重复率的问题有良好的解决能力,通过数据去重能将成本降低5倍至10倍,区块链所采用的边缘节点架构,对硬件的需求度较低,比搭建中心化数据存储中心的成本也要低得多。

HDFS是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利。

?? HDFS的设计建立在更多地响应"一次写入、多次读写"任务的基础上。这意味着一个数据集一旦由数据源生成,就会被复制分发到不同的存储节点中,然后响应各种各样的数据分析任务请求。在多数情况下,分析任务都会涉及数据集中的大部分数据,也就是说,对HDFS来说,请求读取整个数据集要比读取一条记录更加高效。

综上所述是本篇文章的全部内容,更多大数据系列文章持续更新中,敬请期待。

全球性革命数据存储,HDFS即将上线

标签:选择   data   博弈论   http   记录   单点   img   alt   优势   

原文地址:https://blog.51cto.com/14882105/2519066

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!