标签：ref bilibili com 项目 快速 处理 mic 博弈论 连接
5G时代面临数据暴增，HDFS将解决数据存储的燃眉之急?
随着互联网5G的到来，快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展，5G时代面临数据暴增，如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点，分布式存储无疑是时代最大的风口。
?
在大趋势的驱动之下，从前两年开始分布式存储项目便不断涌现，但真正能够做到落地应用，并规模发展越来越大的项目却寥寥无几，其中HDFS分布式存储以强者的姿态在市场中独占鳌头。
?
HDFS立足于分布式存储+区块链技术，HDFS构建了一个基于Hadoop技术的区块链智能大数据存储系统，它可以提高用户访问效率，节省集群存储空间；作为区块链的基础开发平台，HDFS增加了基于数据可检索性（PoR）增加了区块链存储扩展性，运用博弈论有效地提高了网络的效率和实用性。
?
融入可链接环签名和多重签名，改善了整体分布式存储系统的安全性；同时增加了验证节点，对存储数据的节点进行基于数据可检索性证明（proofs of retrievability，POR）方法的实时检测，并记录更新存储节点稳定性值，依此选择高稳定性节点来储存新产生的数据副本，提高了数据存储的稳定性，有效减少了海量节点的大量存储空间，增加了区块链的储存扩展性。
?
HDFS-硬盘文件分布式公链，结合了区块链的机制，保证了通讯安全，加入门槛低廉，文件和数据可以真正落地，不像市场那些IPFS，只能币流通，无法应用落地。HDFS将会直接改变未来，改变生态使用。技术突破壁垒，降低资源损耗，为市场做出贡献，为世界做出改变，让人类信息永存。
?
廉价的硬盘存储计算机和相关设备均可以加入成为节点
HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。所以只需要你加入节点作为贡献，就能得到奖励机制。
?
数据的容错和恢复机制
满足大于N+3保证数据完整性
HDFS设计成能可靠地在集群中大量机器之间存储大量的文件，它以块序列的形式存储文件。文件中除了最后一个块，其他块都有相同的大小。属于文件的块为了故障容错而被复制。当他的节点超过3台以上即便有节点损坏，或者关机都不影响文件的丢失和安全，不像IPFS当节点关机文件也不存在了！
?
通讯协议，安全隐秘。所有的节点都是主动点对点P2P，融合区块链特性和机制。
P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源（处理能力、存储能力、网络连接能力、 打印机等），这些共享资源需要由网络提供服务和内容，能被其它对等节点（peer）直接访问而无需经过中间实体。 在此网络中的参与者既是资源（服务和内容）提供者（server），又是资源（服务和内容）获取者（client） RPC（Remote Procedure Call）抽象地封装了Client Protocol和DataNode Protocol协议。按照设计， 名字节点不会主动发起一个RPC，它只是被动地对数据节点和客户端发起的RPC作出反馈。
?
数据正确性
从数据节点上取一个文件块有可能是坏块，坏块的出现可能是存储设备错误，网络错误或者软件的漏洞。 HDFS客户端实现了HDFS文件内容的校验。 当一个客户端创建一个HDFS文件时， 它会为每一个文件块计算一个校验码并将校验码存储在同一个HDFS命名空间下一个单独的隐藏文件中。 当客户端访问这个文件时，它根据对应的校验文件来验证从数据节点接收到的数据。 如果校验失败，客户端可以选择从其他拥有该块副本的数据节点获取这个块。
?
HDFS站在了时代发展的风口之上，作为分布式存储行业的引领者，目前正在全球快速布局，形成包括边大数据中心、缘计算、云计算的产业集群，并结合区块链技术的分布式存储是时代大势，分布式存储领域的发展有着无限的潜能。将更好地引领传统企业升级转型，推动整个新经济的发展。
作者：asd14587
https://www.bilibili.com/read/cv7578520
出处： bilibili
标签：ref bilibili com 项目 快速 处理 mic 博弈论 连接
原文地址：https://blog.51cto.com/14882105/2532318
