Hadoop分布式文件系统(Hadoop Distributed File System, HDFS)分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
hdfs只是其中一种。适用于一次写入、多次查询的情况,不支持并发写情况,小文件不合适。2.HDFS架构HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数...
分类:
其他好文 时间:
2015-06-27 16:31:09
阅读次数:
100
参考文章:
Mongo hadoop connector
https://github.com/mongodb/mongo-hadoop
wiki
https://github.com/mongodb/mongo-hadoop/wiki
ppt
http://www.slideshare.net/mongodb/hadoop-webinar?from_embed_lead_cta=t...
分类:
数据库 时间:
2015-06-27 09:52:19
阅读次数:
231
因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用:安装,配置过程,使用情况等续一,glusterfs分布式文件系统部署:说明:公司想做网站业务日志及系统日志统一收集和.....
分类:
其他好文 时间:
2015-06-25 00:08:21
阅读次数:
384
linux的文件系统的类型:ext(2.3.4),xfs,ffs,ufs,reiserfs,jfs,交换文件系统:swap网络文件系统:nfs,smbfs分布式文件系统:ceph光盘文件系统:isso9660btrfs,linux文件系统结构示意图:注:图片出处来自“鸟哥私房菜”常用的ext2.3.4文件系统(ext2没有日志记录):ext类文件系..
分类:
系统相关 时间:
2015-06-21 23:56:09
阅读次数:
214
Google GFS文件系统深入分析现在云计算渐成潮流,对大规模数据应用、可伸缩、高容错的分布式文件系统的需求日渐增长。Google根据自身的经验打造的这套针对大量廉价客户机的Google GFS文件系统已经广泛的在Google内部进行部署,对于有类似需求的企业而言有相当的参考价值。AD:51CTO...
分类:
其他好文 时间:
2015-06-21 22:26:22
阅读次数:
585
因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用:安装,配置过程,使用情况等续一,glusterfs分布式文件系统部署: 说明: 公司想做网站业务日志及系统日志统一收集....
分类:
其他好文 时间:
2015-06-19 23:02:42
阅读次数:
356
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/L...
分类:
其他好文 时间:
2015-06-19 21:33:11
阅读次数:
133
FastDFS是一款类GoogleFS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只 能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,GoogleFS以及FastDFS、 mogileFS、HDFS、TF...
分类:
其他好文 时间:
2015-06-18 18:38:48
阅读次数:
167
1.什么是分布式文件系统?管理网络中跨多台计算机存储的文件系统称为分布式文件系统。2.为什么需要分布式文件系统了?原因很简单,当数据集的大小超过一台独立物理计算机的存储能力时候,就有必要对它进行分区(partition)并存储到若干台单独计算机上。3.分布式系统比传统的文件的系统更加复杂因为分布式文...
分类:
其他好文 时间:
2015-06-15 21:57:14
阅读次数:
114
←使用iftop监控linux网络流量分布式文件系统FastDFS原理介绍→centos6.5下搭建fastdfs分布式存储2014-04-24VenusFastDFSGo to commentfastDFS下载地址:http://code.google.com/p/fastdfs/download...
分类:
其他好文 时间:
2015-06-13 12:33:36
阅读次数:
343