跟踪服务器：192.168.4.121 (edu-dfs-tracker-01) 存储服务器：192.168.4.125 (edu-dfs-storage-01) 环境：CentOS 6.6 用户：root 数据目录：/fastdfs （注：数据目录按你的数据盘挂载路径而定） 安装包： FastDF ...
分类：
其他好文 时间：
2016-04-24 00:35:53
阅读次数：
441
1.什么是NFS？NFS，全名叫NetworkFile
System，中文叫网络文件系统，是Linux、UNIX系统的分布式文件系统的一个组成部分，可实现在不同网络上共享远程文件系统。NFS由Sun公
司开发，目前已经成为文件服务的一种标准之一。其最大的功能就是可以通过网络，让不同操作系统的计算机..
分类：
其他好文 时间：
2016-04-23 23:19:40
阅读次数：
900
软件架构理解 1FastDFS介绍 1.1什么是FastDFS FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等 ...
分类：
其他好文 时间：
2016-04-23 19:52:29
阅读次数：
319
hadoop namenode -format 格式化分布式文件系统start-all.sh 启动所有Hadoop守护进程stop-all.sh 停止所有Hadoop守护进程start-mapred.sh 启动Map/Reduce守护进程stop-mapred.sh 停止Map/Reduce守护进程 ...
分类：
其他好文 时间：
2016-04-23 19:44:22
阅读次数：
132
1、初识分布式文件系统在生产环境中，后端存储服务器服务器是一个很重要的环节。如果一旦前段服务器需要大量进行IO操作，会对后端存储的文件系统造成很大的压力。一旦后端的存储文件系统down机，那会导致整个生产环境奔溃。因为在生产环境中，后端的存储文件系统会成为一个单点..
分类：
系统相关 时间：
2016-04-23 15:07:42
阅读次数：
363
一、Hive是什么？ Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL。
二...
分类：
其他好文 时间：
2016-04-23 12:01:58
阅读次数：
238
一、背景描述之前公司的图片服务器已经不能胜任了（直接使用tomcat），需要重新搭建图片服务器，这两天研究了下FastDFS，感觉挺好用记录下来以供日后参考。二、FastDFS官方介绍FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系..
分类：
其他好文 时间：
2016-04-23 07:53:17
阅读次数：
780
hdfs基本原理
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式...
分类：
其他好文 时间：
2016-04-22 19:23:02
阅读次数：
363
1 Hadoop是当下大数据处理的事实标准之一，具有广泛的应用场景。作为Hadoop生态基础的HDFS分布式文件系统，它具有极高的容错性，适合部署在廉价的机器上，并能提供高吞吐量的数据访问能力，专为大规模数据存取而设计。 请用Java程序来模拟HDFS的三个应用场景：写文件、读文件、Node节点单点 ...
分类：
编程语言 时间：
2016-04-21 13:41:29
阅读次数：
185
1.Hadoop是什么?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。适合大数据的分布式存储与计算平台，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed Fil ...
分类：
其他好文 时间：
2016-04-19 17:16:03
阅读次数：
157
