标签：问题 项目 poc 积累 mamicode 概念 datanode 你知道 硬件
HDFS-硬盘文件分布式公链骤然崛起你知道吗？随着数字内容的增长，数据指数不断的增长。面对海量的数据，传统的存储缺点也越来越明显，如扩展性差、单点故障等。为了克服上述缺点，满足海量数据的存储需求，市场上出现了分布式存储技术。
分布式存储的兴起与互联网的发展密不可分，互联网公司由于其数据量大而资本积累少，而通常都使用大规模分布式存储系统。
现阶段互联网技术以及硬件的发展，分布式系统的出现、演变一直未曾止步。但数据量的剧增，对于分布式系统的稳定性、可拓展性、安全性要求也越来越高。
今年分布式存储概念非常火，市场上除了Fecoin之外其实还有很多以分布式存储为概念的项目，作为非专业人士一般很难对这些项目的具体情况进行判断。HDFS也是众多分布式存储项目中的一员，但是不同的是，HDFS是一个具备高完成度的项目，当他被矿工发现的时候距离主网上线开始挖矿已经非常之近了。
项目想走得长远，就必须要有足够庞大的市场，HDFS瞄准分布式存储赛道。在大数据时代的今天，再加上5G的到来，全球数据存储量已经呈爆发式增长，企业及互联网数据正在以每年50%的速率在增长，传统中心化存储已然无法满足社会的存储需求。成本更低、安全更高、传输更快的区块链分布式存储将成为新一代主流存储方式；未来将取代云存储，HDFS分布式存储在全球有着万亿级别的市场需求。
HDFS-硬盘文件分布式公链介绍：
HDFS结合了区块链的机制，保证了通讯安全，加入门槛低廉，文件和数据可以真正落地，不像市场那些IPFS，只能币流通，无法应用落地。我们将会直接改变未来，改变生态使用。
技术突破壁垒，降低资源损耗，为市场做出贡献，为世界做出改变。
1）：HDFS的基础概念：
HDFS作为分布式存储的项目，他要解决的主要是用户个人数据存储安全、私密、高效的问题，用分布式存储的技术来满足C端的需求。对比与Fecoin项目，HDFS其实是更加接地气的。
2）：HDFS采用的共识：
对于矿工而言HDFS采用什么样的共识才是关键，同样的存储挖矿项目，有的项目对于挖矿软硬件要求极高，而有的项目则近乎没有要求，号称只要有个硬盘连上网线就能实现分布式挖矿。
HDFS采用的是的POC+POST的抵押挖矿机制，用户提供硬盘存储空间为主网保存数据以换取HDFS奖励。由于硬盘挖矿的特殊性，为了让矿工能够持续的保存数据于是HDFS采用抵押挖矿原则，每周挖矿的收益延迟一周发放，以此来激励矿工对数据存储。
3）：HDFS的数据安全性
HDFS的出发点是用户数据的保护，所有数据的完整性跟安全性的要求是非常高的。HDFS加密+分散存储的形式来确保用户数据的不被窃取，并且N+3的冗余机制，任何一份数据都有不少于三个节点进行备份，比起中心化的存储机制数据的安全性提升数倍。数据的容错和恢复机制，满足大于N+3保证数据完整性。
HDFS亮点：
1、廉价的硬盘存储计算机和相关设备均可以加入成为节点，HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。所以只需要你加入节点作为贡献，就能得到奖励机制。
HDFS设计成能可靠地在集群中大量机器之间存储大量的文件，它以块序列的形式存储文件。文件中除了最后一个块，其他块都有相同的大小。属于文件的块为了故障容错而被复制。当他的节点超过3台以上即便有节点损坏，或者关机都不影响文件的丢失和安全，不像IPFS当节点关机文件也不存在了！
2、通讯协议，安全隐秘。
所有的节点都是主动点对点P2P，融合区块链特性和机制。
P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源（处理能力、存储能力、网络连接能力、打印机等），这些共享资源需要由网络提供服务和内容，能被其它对等节点（peer）直接访问而无需经过中间实体。在此网络中的参与者既是资源（服务和内容）提供者（server），又是资源（服务和内容）获取者（client）RPC（Remote Procedure Call）抽象地封装了Client Protocol和DataNode Protocol协议。按照设计，名字节点不会主动发起一个RPC，它只是被动地对数据节点和客户端发起的RPC作出反馈。
3、数据正确性
从数据节点上取一个文件块有可能是坏块，坏块的出现可能是存储设备错误，网络错误或者软件的漏洞。HDFS客户端实现了HDFS文件内容的校验。当一个客户端创建一个HDFS文件时，它会为每一个文件块计算一个校验码并将校验码存储在同一个HDFS命名空间下一个单独的隐藏文件中。当客户端访问这个文件时，它根据对应的校验文件来验证从数据节点接收到的数据。
对于个人可信数据的利用还在不断的开发当中，HDFS最大的价值就在于为个人数据打造了一个安全、可信的载体并且设计了授权调用的机制用户可以基于个人意愿授予第三方有限的数据调用全线，从个人数据到大数据之间形成一个闭环的体系。
标签：问题 项目 poc 积累 mamicode 概念 datanode 你知道 硬件
原文地址：https://blog.51cto.com/14882105/2528654
