GlusterFS（GNU ClusterFile System）是一个开源的分布式文件系统，它的历史可以追溯到2006年，最初的目标是代替Lustre和GPFS分布式文件系统。经过八年左右的蓬勃发展，GlusterFS目前在开源社区活跃度非常之高，这个后起之秀已经俨然与Lustre、MooseFS ...
分类：
其他好文 时间：
2018-07-05 23:37:02
阅读次数：
181
FastDFS 是国内电商网站非常出名的一套框架，在国内的电商网站使用概率是非常大的，是淘宝的前架构师用 c 语言编写的一款开源的分布式文件系统。充分考虑了冗余备份（纵向）、负载均衡、线性扩容（横向）等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文 ...
分类：
其他好文 时间：
2018-07-03 23:57:32
阅读次数：
1433
简介：ApacheSqoop是专为ApacheHadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如Hive和HBase。相反，Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务
分类：
其他好文 时间：
2018-07-03 18:17:46
阅读次数：
168
个人博客地址：https://kekbin.com/ 概述 IPFS的全称是InterPlanetary File System（星际文件系统），从名称上看，这是一个很炫酷、很有野心的项目。简单地说它就是一个点对点的分布式文件系统。 "官网" 和 "github" 都可以找到所有的相关资料。建议从它 ...
分类：
其他好文 时间：
2018-07-02 13:08:30
阅读次数：
158
简介 在分布式文件系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程git仓库中。在spring clou ...
分类：
编程语言 时间：
2018-06-30 16:13:41
阅读次数：
205
一、概述 随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。 ceph官方文档 http://docs.ceph.org.cn/ ceph中文开源社区 http://c ...
分类：
其他好文 时间：
2018-06-30 14:52:56
阅读次数：
258
一、Hadoop概述： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，则M ...
分类：
其他好文 时间：
2018-06-30 13:00:36
阅读次数：
1134
使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传, 下载等服务. Tracker server 作用是负载均衡和调度 ,通过 Tracker server 在文件上传时可以根据一些 策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调 ...
分类：
其他好文 时间：
2018-06-29 20:36:34
阅读次数：
209
一、FastDFS介绍 FastDFS开源地址：https://github.com/happyfish100 参考：分布式文件系统FastDFS设计原理 参考：FastDFS分布式文件系统 个人封装的FastDFS Java API：https://github.com/bojiangzhou/l ...
分类：
Web程序 时间：
2018-06-28 13:51:33
阅读次数：
224
Ceph:1、它是一个分布式文件系统，可以提供块存储、文件系统存储和对象存储。但是文件存储还不非常成熟，不建议在生产环境中使用。应用的最多的形式是块存储。2、Ceph主要组件OSD：对象存储设备，它是ceph中唯一的真正进行数据存储的组件。通常情况下，一个OSD进程绑定到一块物理磁盘。MON：Monitor监视器，跟踪整个集群的健康状态。它为每个ceph组件维护一个映射表。MON进程数目是奇数，如
分类：
其他好文 时间：
2018-06-25 17:04:48
阅读次数：
332
