1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架..
分类：
其他好文 时间：
2017-03-27 12:05:23
阅读次数：
405
转自：https://www.ustack.com/blog/sikao/ Ceph从2004年提交了第一行代码，至今为止已经10年了。这个起源于Sage博士论文，最早致力于开发下一代高性能分布式文件系统的项目，现在也成为了开源社区众人皆知的明星项目。特别是随着云计算的发展，Ceph乘上了OpenS ...
分类：
其他好文 时间：
2017-03-24 12:17:41
阅读次数：
288
FastDFS的安装与配置=============================================================================概述：=============================================================================FastDFS介绍1.简介★介绍开源的轻量级分布式文件系统；使用C++语言编写FastDFS是一..
分类：
其他好文 时间：
2017-03-24 10:58:17
阅读次数：
432
昨天下午花了三四个小时在Linux centos 6 上搭建了一个分布式文件系统。纯粹是搭建来做自己的文件备份。所以把一些自己在其中遇到的一些问题给总结出来，免得更多人走错路。 FastDFS 的一些介绍(英文来自官方github): FDFS , 开源分布式文件系统。主要的功能是:文件存储,同步, ...
分类：
Web程序 时间：
2017-03-23 12:37:27
阅读次数：
627
FastDFS系统是一个类似于GoogleFS的轻量级分布式文件系统，用C语言实现，支持包括Linux、FreeBSD、AIX等UNIX系统。从诞生之初至今，FastDFS已经推出了31个版本。下面是FastDFS的架构示意图：特别适合以中小文件（建议范围：4KB<file_size<500MB）为载体的在线服务。fastd..
分类：
其他好文 时间：
2017-03-23 00:01:13
阅读次数：
222
1、MooseFS 支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多，易用，稳定，对小文件很高效。 + 支持文件元信息 + mfsmount 很好用 + 编译依赖少，文档全，默认配置很好 + mfshdd.cfg 加 * 的条目会被转移到其 ...
分类：
其他好文 时间：
2017-03-21 12:35:14
阅读次数：
247
同一个网站，根据客户端用电脑或手机访问不同出现的会有宽屏或长格式是用不同的样式表文件决定但网页文件还是那一个FASTDFS主控服务器（存所有文件目录信息，要找一个文件先找他）----》数据库服务器（存放文件）分布式文件系统：fastDFS功能：文件存储，文件访问，文件同步（..
分类：
其他好文 时间：
2017-03-21 00:16:16
阅读次数：
220
虚拟机：192.168.2.21虚拟机：192.168.2.22首先，把两个虚拟的防火墙关闭，再次根据上一篇文档：CentOS7配置本地镜像及安装gluster服务，在两台虚拟机安装gluster。【停止防火墙】sudosystemctlstopfirewalld.service--停止防火墙sudosystemctldisablefirewalld.service--开机..
分类：
其他好文 时间：
2017-03-16 22:46:55
阅读次数：
323
平台简介Jeesz是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的JavaEE快速开发平台。Jeesz本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术使用Maven..
分类：
移动开发 时间：
2017-03-16 22:45:47
阅读次数：
336
一、HDFSSinkFlumeSink是将事件写入到Hadoop分布式文件系统（HDFS）中。主要是Flume在Hadoop环境中的应用，即Flume采集数据输出到HDFS，适用大数据日志场景。目前，它支持HDFS的文本和序列文件格式，以及支持两个文件类型的压缩。支持将所用的时间、数据大孝事件的数量为操作参..
分类：
Web程序 时间：
2017-03-15 19:23:05
阅读次数：
304
