[TOC] Hadoop伪分布式的搭建 0x00事先准备 准备jdk和Hadoop的安装包。建议删掉自带的Java,~~要不然后面配置环境变量会有坑~~ 然后删除涉及jdk的几个包 之后将jdk和Hadoop上传到机子中就可以正式开始搭建了 0x01 ssh配置 同样是使用rpm查看是否安装ssh ...
分类:
其他好文 时间:
2019-01-25 21:06:53
阅读次数:
213
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 伪分布式:HDFS和YARN 伪分布式搭建,事先启动HDFS和YARN 第一步:开发WordCount示例 第二步:程序打jar包:M ...
分类:
其他好文 时间:
2019-01-16 01:09:45
阅读次数:
481
第1章 课程简介课程简介及期望学习本门课程可以达到的目标。对本门课程所用到的技术进行概览第2章 HBase简介与环境部署介绍HBase是什么,能做什么,有哪些优缺点,适用于哪些应用场景,与常用关系数据库有什么不同。并配置安装Hadoop伪分布式集群,HBase伪分布式集群。为后面章节实战测试提供环境 ...
分类:
编程语言 时间:
2019-01-13 18:04:14
阅读次数:
227
折腾了好几天的问题,终于解决了。虽然这次遇到的问题没在网络上找到答案,不过,解决问题的过程或多或少受到了网上一些答案的启发。下面我将分享自己遇到的问题,并提供解决方法。 (一)、相关资料 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html ...
分类:
其他好文 时间:
2019-01-04 23:11:09
阅读次数:
265
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 伪分布式就一台机器:主节点和从节点都在一个机器上,这里我们使用:node1 192.168230.11 一、平台和软件平台:GNU/L ...
分类:
其他好文 时间:
2019-01-02 12:40:17
阅读次数:
129
> 1.Linux设置静态IP地址 > 2.修改主机名和映射文件 > 3.SSH免密码配置 > 4.Linux系统JDK的安装和配置 > 5.Hadoop伪分布式配置和测试 > 5.1 测试hdfs和yarn ...
分类:
其他好文 时间:
2018-10-24 22:28:35
阅读次数:
355
一、准备Linux环境 1、安装目前常用的VMware,和Linux虚拟机(可以复制、拷贝) 2、使用 vim /etc/sysconfig/network进行修改主机名 3、使用 vim /etc/sysconfig/network-scripts/ifcfg-eth0 进行修改IP,设置自己的I ...
分类:
其他好文 时间:
2018-09-18 22:49:52
阅读次数:
216
Hadoop集群搭建及介绍: 什么是hadoop? Hadoop是Apache开源的,可靠的,可扩展的一个项目; 能解决的问题是: 1、海量数据的存储(hdfs) 2、海量数据的分析(MapReduce) 3、资源管理调度(YARN) 1、Hadoop子项目家族成员: 2、修改主机名: 3、配置ss ...
分类:
其他好文 时间:
2018-08-01 19:45:02
阅读次数:
153
本篇文章是接上一篇《超详细hadoop虚拟机安装教程(附图文步骤)》,上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了,hadoop安装会在后面写到,因为整个系列的文章涉及到每一步的截图,导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍,然后才会写到hadoop安装,关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类:
系统相关 时间:
2018-07-30 14:55:38
阅读次数:
163
本篇文章是接上一篇《超详细hadoop虚拟机安装教程(附图文步骤)》,上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了,hadoop安装会在后面写到,因为整个系列的文章涉及到每一步的截图,导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍,然后才会写到hadoop安装,关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类:
系统相关 时间:
2018-07-30 14:47:33
阅读次数:
237