摘要：Hadoop之HDFS文件操作常有两种方式，命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。...
分类：
其他好文 时间：
2014-06-20 13:33:46
阅读次数：
151
??
什么是分布式系统
分布式系统有多个含义：
1）表示计算机科学的一个研究领域，研究方向。这个层面的分布式系统比较学术，不是本文讨论的对象。
2）工程领域的实际使用的分布式系统。分布式系统是互联网应用的基石，是底层的支撑平台。本文讲的分布式系统指这个层面。
互联网应用的特点是：高并发，海量数据。互联网应用的用户数是没有上限的(取决于其开放特性)，这也是和传统应用的本质区别。高并...
分类：
其他好文 时间：
2014-06-19 10:08:44
阅读次数：
399
核心目标：Google File System是一个面向密集应用的，可伸缩的大规模分布式文件系统。GFS运行在廉价的设备上，提供给了灾难冗余的能力，为大量客户机提供了高性能的服务。1．一系列前提GFS的系统构建针对其自身使用的特点在传统的分布式系统的基础上又进行了一些创新,基于的前提假设主要包括以下...
分类：
其他好文 时间：
2014-06-19 08:44:16
阅读次数：
261
??
本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。
设计要点:
性能
提高性能的方法就是并行，讲一个任务分解成多个任务，同时执行。
GFS中的思路是将文件分块,每个块是一个chunk,每个chunk单独保存，保存chunk的节点叫chunkserver。对文件的读写，可以转成对chun...
分类：
其他好文 时间：
2014-06-17 23:00:34
阅读次数：
268
Sun's Network File System...
分类：
其他好文 时间：
2014-06-08 15:21:30
阅读次数：
308
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
利用Nginx和MogileFS架构图片服务器
在之前的文章中以介绍如何搭建MogileFS；这里就不提了。一，Nginx安装 在标准的nginx安装中增加支持MogileFS的模块，
vkholodkov-nginx-mogilefs...
分类：
其他好文 时间：
2014-06-05 13:35:27
阅读次数：
229
一、简介1、介绍MogileFS是一个开源的分布式文件系统，用于组建分布式文件集群，由LiveJournal旗下DangaInteractive公司开发，Danga团队开发了包括Memcached、MogileFS、Perlbal等不错的开源项目：(注：Perlbal是一个强大的Perl写的反向代理服务器)2、MogileFS的特性（1）工作..
分类：
其他好文 时间：
2014-05-25 08:37:04
阅读次数：
430
概述这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于..
分类：
其他好文 时间：
2014-05-25 08:25:49
阅读次数：
620
