Hadoop架构的初略总结（2） 回顾一下前文，我们总结了以下几个方面。我们为什么需要Hadoop；Hadoop2.0生态系统的构成；Hadoop1.0中HDFS和MapReduce的结构模型。 我们大致了解了1.0，现在我们来说说2.0。 首先，我们需要理清以下几个问题： 1.Hadoop1.0自 ...
分类：
其他好文 时间：
2018-03-18 16:16:52
阅读次数：
215
1.3Hadoop基础知识 1.3.1术语解释 1.Hadoop1.0 ? 第一代Hadoop，由分布式文件系统HDFS 和分布式计算框架MapReduce组成 ? HDFS由一个NameNode和多个DataNode 组成 ? MapReduce由一个JobTracker和多个 TaskTrack ...
分类：
其他好文 时间：
2018-03-14 23:42:37
阅读次数：
259
Hadoop常用命令 启动HDFS集群 启动YARN集群 查看HDFS系统根目录 创建文件夹 级联创建文件夹 查看hsdf系统根目录下的所有文件包括子文件夹里面的文件 [hadoop@hadoop1 ~]$ hadoop fs -ls -R /aadrwxr-xr-x - hadoop superg ...
分类：
系统相关 时间：
2018-03-08 19:39:47
阅读次数：
263
之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程，本来这篇文章是打算介绍搭建伪分布式集群的。但是后来想想反正伪分布式和完全分布式差不多，所幸直接介绍完全分布式了。 如果你想自己搭建伪分布式玩的话，参考：在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - ...
分类：
系统相关 时间：
2018-03-06 10:20:02
阅读次数：
279
[root@hadoop1 bin]# rpm -qa|grep ntp 没有的话用yum -y install ntp安装(要记着每台机器上都要安装) [root@hadoop1 bin]# vi /etc/ntp.conf 修改内容如下 a）修改1（设置本地网络上的主机不受限制。）#restri ...
分类：
其他好文 时间：
2018-02-02 21:51:38
阅读次数：
183
1.上传 2.解压到相应的目录 3.进入到hbase的conf目录 hbase-env.sh配置文件 hbase-site.xml配置文件 regionserver配置文件 主节点配置完成之后发送到其他两个节点上. ##启动集群 ###启动ZooKeeper集群 在 ZooKeeper 集群的每台服 ...
分类：
其他好文 时间：
2018-01-28 16:29:24
阅读次数：
305
1.上传 2.解压 3. 进入到Spark安装目录 cd 进入conf目录并重命名并修改spark-env.sh.template文件 cd conf/ mv spark-env.sh.template spark-env.sh vi spark-env.sh 在该配置文件中添加如下配置 expor ...
分类：
其他好文 时间：
2018-01-27 18:59:06
阅读次数：
170
Mac配置hadoop1.修改 /etc/hosts127.0.0.1 localhost2.下载hadoop2.9.0和jdk并安装配置相应环境 vim /etc/profile export HADOOP_HOME=/Users/yg/app/cluster/hadoop-2.9.0 expor ...
分类：
系统相关 时间：
2018-01-04 18:10:36
阅读次数：
287
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载地址如下 http:// ...
分类：
其他好文 时间：
2017-12-06 13:16:16
阅读次数：
241
下载hadoop1.0.4版本，和jdk1.6版本或更高版本：1. 安装JDK，安装目录大家可以自定义，下面是我的安装目录： 配置环境变量： 将环境变量添加到profile文件底部： 激活环境变量： 2. 安装hadoop创建hadoop用户及其hadoop组。配置IP对应域名在 在hosts文件底 ...
分类：
其他好文 时间：
2017-11-24 19:14:32
阅读次数：
126
