转自：https://www.cnblogs.com/caiyisen/p/7395843.html 学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Fil ...
分类：
其他好文 时间：
2019-02-05 13:13:27
阅读次数：
204
一、虚拟机安装centos7需要显示IPv4地址时设置 修改ip addr 中显示ipv4 1. 修改 ONBOOT=no 为 ONBOOT=yes， 2. 同时需要添加HWADDR=00:0c:29:c8:b6:a7，其中后缀mac地址需要填写ip addr中ech33的ip6的mac 00:0c ...
分类：
其他好文 时间：
2019-01-27 22:00:23
阅读次数：
181
HAdoop集群实战一:Zookeeper集群部署HAdoop集群实战二:Hadoop集群部署HAdoop集群实战三:Namenode高可用HA部署HAdoop集群实战四:Hbase集群部署HAdoop集群实战五:Hive集群部署HAdoop集群实战六:Kafka集群部署HAdoop集群实战七:Hive、Hbase集群整合...待更新HAdoop集群实战八:Hive、Hbase集群整合测试...待
分类：
其他好文 时间：
2019-01-25 19:21:51
阅读次数：
208
hadoop集群搭建前的准备（一定要读）：http://blog.51cto.com/14048416/2341450hadoop分布式集群搭建：1.集群规划：2.具体步骤：（1）上传安装包，并解压到相关目录：[hadoop@hadoop01home]$putc:/hadoop-2.6.5-centos-6.7.tar.gz[hadoop@hadoop01home]$tar-zxvfhadoop-
分类：
其他好文 时间：
2019-01-11 14:18:29
阅读次数：
217
一、概念 Hadoop是一个能够对大量数据进行分布式处理的软件框架，充分利用集群的威力进行高速运算和存储。 二、主要模块Hadoop Common：支持其他Hadoop模块的常用实用程序。Hadoop分布式文件系统（HDFS?）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。Hadoop ...
分类：
其他好文 时间：
2018-12-29 21:13:40
阅读次数：
139
Hadoop分布式文件系统（HDFS）是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的：HDFS具有高度容错能力，旨在部署在低成本硬件上。(高容错)HDFS提供对数据的高吞吐量访问，适用于具有海量数据集的应用程序。（高吞吐量）HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。（流式访问）HDFS最初是作为ApacheNu
分类：
其他好文 时间：
2018-12-19 17:52:56
阅读次数：
167
参考 http://www.cnblogs.com/zhijianliutang/p/5736103.html 1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz 2 解压 ta ...
分类：
其他好文 时间：
2018-12-18 19:50:43
阅读次数：
133
1.HadoopCommon是Hadoop体系最底层的一个模块，为Hadoop各个子模块提供各种工具，比如系统配置工具Configuration、远程调用RPC、序列化机制和日志操作等等，是其他模块的基础。2.HDFS是Hadoop分布式文件系统缩写，它是Hadoop的基石。HDFS是一个具备高度容错性的文件系统，适合部署在廉价的机器上，它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。3
分类：
其他好文 时间：
2018-11-30 20:09:21
阅读次数：
354
--HDFS-- Hadoop Distributed File System HDFS一个分布式，高容错，可线性扩展的文件系统 简介： Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大 ...
分类：
其他好文 时间：
2018-11-23 20:57:09
阅读次数：
312
sqoop搭建环境： jdk1.8 hadoop分布式集群（HDFS） HIVE（看使用情况） 下载网址：http://sqoop.apache.org/ 建议： sqoop1.4.4版本，线上使用比较好，网上相关文档也多 （推介线上使用） sqoop1.99.7版本，创建job方式规范化，但网上资 ...
分类：
其他好文 时间：
2018-11-22 18:19:45
阅读次数：
189
