Linux文件系统管理Linux文件系统：ext2,ext3,ext4,xfs,btrfs,reiserfs,jfs,swapswap：交换分区光盘：iso9660Windows：fat32,NTFSUnix：FFSS,UFS,JFS2网络文件系统：NFS,CIFS集群文件系统：GFS2,OCFS2分布式文件系统：ceph,moosefs,mogilefs,glusterFS,Lustre根据其是否支持"jou..
分类：
系统相关 时间：
2017-11-04 00:22:19
阅读次数：
280
网上用python写spark+kafka的资料好少啊 自己记录一点踩到的坑~ spark+kafka介绍的官方网址：http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html python的pyspark库函数文 ...
分类：
编程语言 时间：
2017-10-31 17:35:05
阅读次数：
358
The Google File SystemSanjay Ghemawat, Howard Gobioff, and Shun-Tak LeungGoogle? 摘要我们设计并实现了谷歌文件系统，这是一个为大型分布式数据密集型的应用而设计的可伸缩的分布式文件系统。它能够运行在廉价的商用机器上同时又提... ...
分类：
其他好文 时间：
2017-10-30 19:52:11
阅读次数：
173
mfs是一个网络分布式文件系统，将文件存储在多个服务器，但呈现给客户端的事统一的内容。这里我的思路是将mfs的两台MASTER做一个高可用，首先先建立drbd，然后在挂载的目录上编译安装drbd，这样保证drbd能将mfsmaster的配置文件带过去。客户端挂载后，master实现切换，客户端依..
分类：
其他好文 时间：
2017-10-30 14:31:16
阅读次数：
193
1.简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩 ...
分类：
其他好文 时间：
2017-10-30 01:19:06
阅读次数：
273
config目录下有2个配置文件：es的配置文件（elasticsearch.yml） 和日志配置文件（logging.yml ） cluster.name: elasticsearch 配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集 ...
分类：
其他好文 时间：
2017-10-28 15:32:38
阅读次数：
161
1）hive和关系型数据库存储文件的系统不同。 hive使用hdfs（hadoop的分布式文件系统），关系型数据库则是服务器本地的文件系统； 2）hive使用的计算模型是mapreduce，而关系型数据库则是自己设计的计算模型。 3）hive是为海量数据做数据挖掘设计的，实时性差；而关系型数据库是为 ...
分类：
数据库 时间：
2017-10-27 17:59:39
阅读次数：
165
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高 ...
分类：
其他好文 时间：
2017-10-27 15:44:42
阅读次数：
136
前几天的安装了一台tfs，今天上午的时候刚刚到了机房。今天这里就给大家介绍下tfs的如何进行配置并启动。淘宝分布式文件系统有2个节点，NameServer负责Block的创建，删除，复制，均衡，整理，NameServer不负责实际数据的读写，实际数据的读写由!DataServer完成。DataServer主要..
分类：
其他好文 时间：
2017-10-25 23:34:28
阅读次数：
209
一、MFS特性：1.Free(GPL)2.通用文件系统，不需要修改上层应用就可以使用3.可以在线扩容，体系架构可伸缩性极强。4.部署简单。5.高可用，可设置任意的文件冗余程度(提供比raid1+0更高的冗余级别,而绝对不会影响读或写的性能，只会加速)6.可回收在指定时间内删除的文件(“回收站..
分类：
系统相关 时间：
2017-10-24 01:42:26
阅读次数：
294
