HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
HDFS Users GuidePurposeOverviewPrerequisitesWeb InterfaceShell CommandsDFSAdmin CommandSecondary NameNodeCheckpoint NodeBackup NodeImport CheckpointRe...
分类：
其他好文 时间：
2014-08-14 16:36:20
阅读次数：
244
HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many...
分类：
其他好文 时间：
2014-08-14 16:23:38
阅读次数：
275
HDFS联邦
本指南提供了一个HDFS联邦特性的综述，以及如何配置和管理联邦的集群。
背景
HDFS有两个主要的层次：
1. Namespace
a) 包含很多的目录，文件和block
b) 他提供所有的文件系统操作像创建，删除，修改该和list文件和目录的命名空间
2. Block Storage Service有两个部分
a)...
分类：
其他好文 时间：
2014-08-13 14:59:36
阅读次数：
245
【课程内容】1、Hadoop分布式文件系统（HDFS）2、YARN/MapReduce的工作原理3、如何优化Hadoop机群所需要的硬件配置4、搭建Hadoop机群所需要考虑的网络因素5、Hadoop机群维护和控制6、如何利用Hadoop配置选项进行系统性能调优7、如何利用FairScheduler...
分类：
其他好文 时间：
2014-08-13 14:51:36
阅读次数：
288
Hive 运行架构
由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具；
构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库；
设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据：
使用HQL作为查询接口；
使用HDFS作为存储底层；...
分类：
其他好文 时间：
2014-08-12 19:05:44
阅读次数：
314
Spark1.0.x入门指南 1 节点说明 ? IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168.1.114 DataNode,Worker HDFS集群和Spark...
分类：
其他好文 时间：
2014-08-12 17:45:25
阅读次数：
278
目的
本指南提供一个HDFS HA特性的综述，描述了如何使用QJM配置和管理一个HA HDFS集群。
本文档假设读者对于HDFS中的通用组件和节点类型有一个大体的认识。请参考HDFS架构指南获取更多信息。
注意：使用QJM或者传统的共享存储
本文档讨论了如何用QJM配置和使用HDFS HA在Active NameNode和Standby NameNode共享edit日志文件...
分类：
其他好文 时间：
2014-08-12 17:18:04
阅读次数：
327
2014-08-12HDFS存储过慢，内存过高而且不释放网络方面：使用 netstat-n |awk'/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看网络情况：情况如下： CLOSE_WAIT 102 FIN_WAIT2 2 ESTABLIS...
分类：
其他好文 时间：
2014-08-12 13:07:14
阅读次数：
601
我们在上一篇文章《HBase复制》中讲述了如何建立主/从集群，实现数据的实时备份。但是，HBase复制只对设置好复制以后的数据生效，也即，配置好复制之后插入HBase主集群的数据才能同步复制到HBase从集群中，而对之前的历史数据，采用HBase复制这种办法是无能为力的。本文介绍如何使用HBase的导入导出功能来实现历史数据的备份。
1）将HBase表数据导出到hdfs的一个指定目录中，具体命令...
分类：
其他好文 时间：
2014-08-11 17:47:22
阅读次数：
322
