pilicat-dfs 霹雳猫-分布式文件系统 一种可以将网站图片或上传的文件，进行分布式存放的服务，可自动复制到多台物理机器，可满足高可用和负载均衡 已编译好的程序包 http://git.oschina.net/tavenli/pilicat-dfs/releases 功能介绍 支持多个dfs- ...
分类：
其他好文 时间：
2017-07-24 22:33:09
阅读次数：
186
MogileFS是一个开源的分布式文件系统，Nginx是开源的4-7层web应用服务端以及反向代理服务端。本文基于CentOS7平台，进行MogileFS+Nginx的部署MogileFS的一些注意事项针对于MogileFS，有如下概念需要注意一下。MogileFS属于有中心节点形式的分布式文件系统，元数据默认存储在关..
分类：
其他好文 时间：
2017-07-24 11:26:50
阅读次数：
191
今日根据《hadoop权威指南》和炼数成金的黄志洪老师的视频，了解了hadoop的基本原理、基本构架和简单实现。 hadoop本身是一个分布式文件系统（HDFS）和计算框架（MapReduce）；YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 ...
分类：
其他好文 时间：
2017-07-23 00:53:07
阅读次数：
119
由于对大数据处理的需求。使得我们不断扩展计算能力，集群计算的要求导致分布式计算框架的诞生。用便宜的集群计算资源在短短的时间内完毕以往数周甚至数月的执行等待，有人说谁掌握了庞大的数据。谁就主导了需求。尽管在十几年间，通过过去几十年的积淀，诞生了mapreduce。诞生了分布式文件系统。诞生了霸主级别的 ...
分类：
其他好文 时间：
2017-07-22 13:14:18
阅读次数：
231
一、分布式文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源并不直接与本地节点相连，而是分布于计算网络中的一个或者多个节点的计算机上。目前意义上的分布式文件系统大多都是由多个节点计算机构成，结构上是典型的客户机/服务器模式。流行的..
分类：
其他好文 时间：
2017-07-20 22:11:15
阅读次数：
2285
HDFS 1 HDFS是什么？ 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色； HDFS是分布式文件系统（多个datanode更亲切点吧） 2 设计思想以及特性 设计思想：分而治之：将大文 ...
分类：
其他好文 时间：
2017-07-20 19:45:46
阅读次数：
128
转自：http://my.oschina.net/u/189445/blog/595232 要注意shutdown与exit之间的不同：shutdown表示关闭hbase服务，必须重新启动hbase才可以恢复，exit只是退出hbase shell,退出之后完全可以重新进入。 hbase使用坐标来定 ...
分类：
系统相关 时间：
2017-07-20 15:30:58
阅读次数：
276
spark 环境搭建 下载的压缩文件放在~/software/ 解压安装在~/app/ 一：分布式文件系统搭建HDFS 1，下载Hadoop HDFS环境搭建 使用版本：hadoop-2.6.0-cdh5.7.0 下载：wget http://archive.cloudera.com/cdh5/cd ...
分类：
其他好文 时间：
2017-07-18 10:03:51
阅读次数：
163
FastDFS是一个开源的，高性能的的分布式文件系统，他主要的功能包括：文件存储，同步和访问，设计基于高可用和负载均衡，FastDFS非常适用于基于文件服务的站点，例如图片分享和视频分享网站 FastDFS有两个角色：跟踪服务(tracker)和存储服务(storage)，跟踪服务控制，调度文件以... ...
分类：
其他好文 时间：
2017-07-15 11:30:27
阅读次数：
243
摘要：Hadoop之HDFS文件操作常有两种方式。命令行方式和JavaAPI方式。本文介绍怎样利用这两种方式对HDFS文件进行操作。 关键词：HDFS文件 命令行 Java API HDFS是一种分布式文件系统，为MapReduce这样的框架下的海量数据分布式处理而设计。 Hadoop之HDFS文件 ...
分类：
其他好文 时间：
2017-07-14 21:18:43
阅读次数：
261
