hadoop快速入门之DKH安装准备

时间：2018-07-03 14:50:22 阅读：121 评论：0 收藏：0 [点我收藏+]

前几天去参加了一个线下的聚会，参加聚会的基本都是从事互联网工作的。会上有人提到了区块链，从而引发了一场关于大数据方面的探讨。我也是从去年才正式接触大数据，一直在学习hadoop。相信接触过hadoop的人都知道，。单独搭建hadoop里每个组建都需要运行环境、修改配置文件、测试等过程，每个组件几乎都有坑，尤其是让新手甚是苦恼。此前有在微博上与一些博友了解过他们的配置过程，有的配置了好几天愣是没成功。
Hadoop运行环境配置的坑只有走过的人才懂，不过三月份的时候发现了一个比较有意思的国产hadoop发行版——大快开源的发行版DKHadoop。DKHadoop将开源社区里多种常用组建包括：HDFS，Hbase，Storm，Flume，Kafka，Mahout，ES等都集成到了这一个平台里，所以整个运行环境的配置安装就大大被简化了。
技术分享图片

我把此前安装的过程整理了一下分享给感兴趣的朋友，主要分为：准备阶段、服务器操作系统配置、DKH系统安装、常见问题解决方法四个部门。由于文章偏于较长，本篇重点为大家分享第一部分——准备阶段。
第一部分：准备工作
1、大数据平台所需配置：
(1) 系统：CentOS 6.5 64位（需默认安装Desktop）
(2) CPU ：intel E3及以上。
(3) 内存：建议最小8G,用图计算建议32G,推荐128G。
(4) 硬盘：256G以上,推荐使用固态硬盘。
(5) 系统分区要求：如无特殊需求，除swap分区外，可将剩余空间全部分配到/ （根）分区
(6) 网络要求：如无特殊情况，尽量可以接入外网。
(7) 至少三台服务器（三台服务器名字任意起，密码须一致）。
（8）安装使用root用户作为默认用户
2、远程上传和远程连接工具：
（1）若直接使用个人PC开启的虚拟机作为服务器的基础，直接拷贝到虚拟机下即可。
（2）若是使用机房服务器作平台搭建的服务器，如若不能直接接触到服务器，则需要使用远程工具连接并发送安装包。
第一部分的主要是安装前的准备工作，除了做好上述这些，还需要去下载一下安装版本。我是直接搜索找到了大快的官网下载的一个三节点的发行版。需要的朋友也可以搜索主要一下，如果没有找到可以留言给我。

hadoop快速入门之DKH安装准备

标签：shadow 分享图片服务器社区还需要技术分享一个 swap分区分区

原文地址：http://blog.51cto.com/13636660/2135462

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行