Hadoop 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yam只负责资源的调度,MapReduce只负责运算。 Hadoop运行模式 本地模式、伪模式以及完全分布式模式。 3.格式化 只能格式化 ...
分类：
其他好文 时间：
2020-07-26 23:02:06
阅读次数：
67
一、Hadoop的安装模式有3种 ①单机模式：不能使用HDFS，只能使用MapReduce，所以单击模式主要用于测试MR程序。 ②伪分布式模式：用多个线程模拟真实多台服务器，即模拟真实的完全分布式环境。 ③完全分布式模式：用多台机器（或启动多个虚拟机）来完成部署集群。 二、安装主要涉及以下内容： ① ...
分类：
其他好文 时间：
2019-07-25 00:07:47
阅读次数：
137
一：搭建的种类 1）本机模式 2）伪分布式模式 3）完全分布式模式 我们先来学习下搭建伪分布式模式。 二：要求 hadoop版本2.7.3，这个版本的hadoop有些小的bug但是不影响使用，电脑要求8G内存，最好加固态硬盘，会大大提升电脑的性能，centos6.5/6.8。 三：安装步骤 1.安装 ...
分类：
其他好文 时间：
2018-05-19 20:42:24
阅读次数：
2484
Hbase安装模式介绍 单机模式1> Hbase不使用HDFS,仅使用本地文件系统2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器集群 ...
分类：
其他好文 时间：
2018-04-13 16:16:50
阅读次数：
180
Hadoop的环境搭建分为单机模式、伪分布式模式、完全分布式模式。 因为我的本本比较挫，所以就使用伪分布式模式。 安装JDK 一般Linux自带的Java运行环境都是Open JDK，我们到官网下载Oracle JDK（http://www.oracle.com/technetwork/java/j... ...
分类：
其他好文 时间：
2017-07-10 10:32:37
阅读次数：
227
Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器 ...
分类：
其他好文 时间：
2016-10-09 23:14:35
阅读次数：
251
本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。 一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作） 0.将三台电脑安装centos6.5系统 1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不 ...
分类：
其他好文 时间：
2016-08-23 14:41:24
阅读次数：
238
当你利用Hadoop进行大数据分析和处理时，首先你需要确保配置、部署和管理集群。这个即不容易也没有什么乐趣，但却受到了开发者们的钟爱。本文提供了5款工具帮助你实现。 Apache Ambari Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。......
分类：
其他好文 时间：
2016-07-15 21:27:09
阅读次数：
1358
hadoop端口----------------1.namenode50070http://namenode:50070/2.resourcemanager:8088http://localhost:8088/3.historyServerhttp://hs:19888/4.namerpc(remoteprocedurecall,远程过程调用)hdfs://namenode:8020/ssh指令结合操作命令---------------------$>sshs300rm-..
分类：
其他好文 时间：
2016-06-27 00:14:25
阅读次数：
213
在上一篇博文中我们有介绍hadoop的单机伪分布式模式的使用，那么现在我们就来看下多机完全分布式模式。1. 多主机配置1.1 对多台机器进行主机名设置用root账户使用如下命令：vim /etc/hostname分别对三台机器设置为：host1、host2、host3
1.2 配置主机映射用root账户使用如下命令：vim /etc/hosts分别配置三台机器：
host1：
host2：...
分类：
其他好文 时间：
2016-05-28 16:02:42
阅读次数：
180
