前言在Hadoop内部，具体实现了许多类的文件系统，当然最最被我们用到的就是他的分布式文件系统HDFS了。但是本篇文章不会讲HDFS的主从架构等东西，因为这些东西网上和资料书中都讲得很多了。所以，我决定以我个人的学习所得，来讲讲HDFS内部的一些有意思的东西，也作为一个起始点，为后续继续深入其中模块的学习做基础。HDFS两大主流关系模块
与NameNode相关，文件系统元数据操作相关。包括文件目录树...
分类：
其他好文 时间：
2015-08-09 17:09:29
阅读次数：
151
前期准备工作：
1.修改Linux主机名：/etc/hostname
ubuntu系统：vi /etc/hostname
将ubuntu默认的主机名ubuntu改为suh01
2.修改IP：/etc/network/interfaces
修改...
分类：
其他好文 时间：
2015-08-08 16:37:44
阅读次数：
319
文件系统（FS）Shell包含各种类-Shell的命令，直接和Hadoop分布式文件系统（HDFS）交互，也支持对其他文件系统的支持，例如：本地文件系统FS，HFTP FS，S3 FS，和其他。...
分类：
系统相关 时间：
2015-08-08 15:01:09
阅读次数：
270
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ①保存多个副本，且提供容错机制，副本丢失或宕机...
分类：
其他好文 时间：
2015-08-03 16:26:00
阅读次数：
102
Hadoop分布式文件系统即Hadoop Distributed FileSystem。 当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区（Partition）并存储到若干台单独的计算机上，管理网络中跨越多台计算机存储的文件系统成为分布式文件系统（Distributed F....
分类：
其他好文 时间：
2015-08-02 16:38:18
阅读次数：
131
一.准备工作1.1搭建hadoop分布式系统，博主是用3台虚拟机搭建的一个简易hadoop分布式系统。linux5.564位hadoop2.6.0192.168.19.201h1(master)192.168.19.202h2(slaver1)192.168.19.203h3(slaver2)1.2准备网站访问IP文件由于是实验，一个简单的txt文件即可如：vima.txt10.0.0.11..
分类：
编程语言 时间：
2015-07-31 06:44:49
阅读次数：
909
SSH 无密 码原理简介 :首先在 hadoop1 上生成一个密 钥对，包括一个公钥和一个私钥，并将公钥复制到所有的 slave(hadoop2-hadoop4) 上。然后当 master 通 过 SSH 连接 slave 时， slave 就会生成一个随机数并用 master 的公 钥对随机数进行...
分类：
其他好文 时间：
2015-07-30 12:47:40
阅读次数：
153
简介HBase –Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBse技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。HBase(NoSQL)的数据模型
HBase 存储的网...
分类：
其他好文 时间：
2015-07-27 00:25:41
阅读次数：
122
本文描写叙述怎样设置一个单一节点的Hadoop安装。以便您能够高速运行简单的操作，使用HadoopMapReduce和Hadoop分布式文件系统(HDFS)。參考官方文档：Hadoop MapReduce Next Generation - Setting up a Single Node Clus...
分类：
其他好文 时间：
2015-07-25 15:08:24
阅读次数：
195
Cygwin介绍：
Cygwin是一个在windows平台上运行的类UNIX模拟环境，它对于学习UNIX/Linux操作环境，或者从UNIX到Windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用GNU工具集在Windows上进行嵌入式系统开发，非常有用。
因为要学习hadoop分布式文件系统，想在window下模拟linux环境进行部署。所以想到用cygwin工具。
先将...
