1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 ...
分类：
其他好文 时间：
2019-07-19 14:03:28
阅读次数：
142
groupadd test //新建test工作组 useradd -g test phpq //新建phpq用户并增加到test工作组 userdel 选项 用户名 常用的选项是 -r，它的作用是把用户的主目录一起删除。 vim /etc/sudoers 在文件的如下位置，为hadoop用户和sp ...
分类：
其他好文 时间：
2019-06-24 18:17:08
阅读次数：
90
HDFS安装-完全分布式 1、 先决条件 a) 三台机器（以上） b) 每台机器时间一致，相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,并且JDK的环境变量必须配置好。 i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk ii. 配置环境变 ...
分类：
其他好文 时间：
2019-06-11 20:56:09
阅读次数：
174
安装前提 已安装并配置了Hadoop集群（单机或者全分布都行） 软件下载 Hive官网：https://hive.apache.org/index.html Hive安装 配置环境变量 将下载的Hive包上传到机器中，解压到指定路径 编辑 /etc/profile，配置Hive的环境变量 使环境配置 ...
分类：
其他好文 时间：
2019-06-09 09:37:28
阅读次数：
102
作为一个程序员开发工具好比是人的手和脚，只有把这些开发工具用好，才能做好一个产品的需求。大多使用SQL数据库存储/检索数据，如今很多情况下，它都不再能满足我们的需求。下面小编就介绍一些大数据data开发常用的辅助工具。开源企业搜索平台：Solr用Java编写，来自ApacheLucene项目。Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过
分类：
其他好文 时间：
2019-05-26 12:35:00
阅读次数：
91
一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主 ...
分类：
其他好文 时间：
2019-05-12 13:35:53
阅读次数：
203
思路： 先在主机s1上安装配置，然后远程复制到其它两台主机s2、s3上， 并分别修改配置文件server.properties中的broker.id属性。 1、 搭建前准备 示例共三台主机，主机IP映射信息如下： 搭建ZooKeeper 集群，搭建步骤参考： https://www.cnblogs. ...
分类：
其他好文 时间：
2019-05-11 21:13:14
阅读次数：
151
一、说明 本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充，基于完全分布式做高可用搭建。。。。。。 二、原理 Hadoop1.X中只有一个NameNode，所有元数据信息都被这个NameNode管理，存在两个问题：单点故障和内存压力大，所以在Hadoop2.X中对两个存在的问题分别有 ...
分类：
其他好文 时间：
2019-05-06 18:46:55
阅读次数：
132
1、准备 Hadoop 版本：2.7.7 ZooKeeper 版本：3.4.14 Hbase 版本：2.0.5 四台主机： s0, s1, s2, s3 搭建目标如下： HMaster：s0，s1（备份HMaster） HRegionServer：s1, s2, s3 主机映射信息如下 Hadoop ...
分类：
其他好文 时间：
2019-05-02 21:28:26
阅读次数：
130
一、角色分配 NN DN SNN node211: * node212: * * node213: * node214: * 二、基础设施配置 网络：IP、hosts、hostname，根据实际情况修改IP ssh： ssh localhost --> exit --> cd ~/.ssh ssh- ...
分类：
其他好文 时间：
2019-04-30 19:48:38
阅读次数：
154
