Hadoop大数据部署 一. 系统环境配置： 1. 关闭防火墙，selinux 关闭防火墙： 设置selinux为disable 2. 配置ntp时间服务器 将IP地址换成可用的时间服务器IP 3. 修改系统限制 4. 创建hadoop用户 5. 配置hosts 6. 分发公钥 保证某一个节点上都有 ...
分类：
其他好文 时间：
2018-11-02 23:58:45
阅读次数：
366
Hadoop2.7.7部署 一、VMware14安装centos7（过程略） 二、配置Linux 1.关闭防火墙： 2.查看当前java版本，为openjdk版的 3.删除openjdk 命令 rpm -qa | grep java 查找java相关文件 命令：rpm -e –nodeps 删除系统 ...
分类：
其他好文 时间：
2018-10-23 21:08:43
阅读次数：
823
由于工作需要，需要搭建hadoop+zookeeper+hbase+storm+kafka集群准备了三台服务器（一台8核+32G内存+300G硬盘充当master，一台8核+16G内存+300G硬盘充当slave01，一台8+16G+500G硬盘充当slave02，并且都能上网），具体如下：Master根据情况定义Hadoop、zookeeper、hbase、storm、kafka、Slave01
分类：
其他好文 时间：
2018-09-12 15:06:17
阅读次数：
147
部署hadoop集群，都需要配置SSH免密码登陆，为什么要设置SSH免密码登录，其原因是我们在开启hadoop的时候需要多次输入yes和root密码，这是我们所不能忍受的，我们迫切需要实现免登录的功能。这里以三个节点node0,node1,node2为例配置首先每个节点的/etc/hosts文件都要配置好，内容如下：10.10.75.100node010.10.75.101node110.10.7
分类：
其他好文 时间：
2018-09-08 17:15:31
阅读次数：
210
Hadoop及HBase集群部署 一、 集群环境 1. 系统版本 虚拟机：内存 16G CPU 双核心 系统： CentOS 7 64位 系统下载地址： http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos ...
分类：
其他好文 时间：
2018-09-07 21:09:41
阅读次数：
144
Cloudera Manager Cloudera Manager 分为两个部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDF ...
分类：
其他好文 时间：
2018-08-09 23:16:00
阅读次数：
291
Hadoop安装部署基本步骤： 1、安装jdk，配置环境变量。 jdk可以去网上自行下载，环境变量如下： 编辑 vim /etc/profile 文件，添加如下内容： export JAVA_HOME=/opt/java_environment/jdk1.7.0_80（填写自己的jdk安装路径） e ...
分类：
其他好文 时间：
2018-07-29 22:28:50
阅读次数：
167
https://blog.csdn.net/wsh596823919/article/details/80774805 hadoop3.1.0 window win7 基础环境搭建 前言：在windows上部署hadoop默认都是安装了java环境的哈。 1、下载hadoop3.1.0 https: ...
分类：
Windows程序 时间：
2018-07-13 20:46:00
阅读次数：
1714
在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作，这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop，所以所有的经验分享都是以DKHadoop为基础，这里要先说明一下。个人觉得DKHadoop对新手还是算是很友好的了，新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看。
分类：
其他好文 时间：
2018-07-05 17:19:35
阅读次数：
177
一、Hadoop概述： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，则M ...
分类：
其他好文 时间：
2018-06-30 13:00:36
阅读次数：
1134
