一、Hadoop基础1、伪分布式模型(单节点)1.1配置centos7默认JDK1.7的环境变量[root@master1~]#vim/etc/profile.d/java.shiexportJAVA_HOME=/usr[root@master1~]#source/etc/profile.d/java.sh安装jdk-devl包:[root@master1~]#yuminstalljava-1.7
分类:
其他好文 时间:
2018-04-22 18:09:47
阅读次数:
174
一、大数据介绍 二、Hadoop介绍—jdk安装 三、Hadoop安装及配置 ...
分类:
其他好文 时间:
2018-04-21 14:28:09
阅读次数:
130
Hadoop 系列(二)安装配置 Hadoop 官网: 一、Hadoop 安装 1.1 Hadoop 依赖的组件 1. __JDK__ :从 Oracle 官网下载,设置环境变量(JAVA_HOME、PATH 和 CLASSPATH)。 2. __SSH(安全外壳标议)__ :推荐安装 Openss ...
分类:
其他好文 时间:
2018-04-20 13:32:46
阅读次数:
230
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统。如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoop教程。 本教程基于原生 Hadoop 2,在 Hadoop 2 ...
分类:
其他好文 时间:
2018-04-18 19:13:15
阅读次数:
197
1、hadoop:由java语言开发的开源的分布式计算平台。可提供PB(100万G)存储。hadoop是可靠的,高效的,可伸缩的。hadoop假设计算元素和存储会失败,维护多个副本,确保针对失败的节点重分布处理。文件以块的方式存储.2、hadoop最核心的是hdfs和mapreduce,hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和
分类:
其他好文 时间:
2018-04-08 14:30:56
阅读次数:
111
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 解决方案:以root权限进入,找到hadoop安装的目录,进入sbin目录下 输入命令#start-all.sh 出现错误:-bash: start ...
分类:
其他好文 时间:
2018-04-07 22:46:32
阅读次数:
376
ps:按这里的教程来安装的https://blog.csdn.net/sinat_30569973/article/details/52232850; 修改了一些错误,加入了自己的理解。 ~~~~~~~~~ 一.准备环境 二.安装配置CentOS 三.安装配置hadoop ...
分类:
其他好文 时间:
2018-04-05 21:30:28
阅读次数:
235
1.准备Linux环境 1.1关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptable ...
分类:
系统相关 时间:
2018-04-04 00:00:19
阅读次数:
282
1. 软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 2. 安装SSH客户端 安装SSH 安装SSH: 安装完成后,可以使用下面命令进行测试: 输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题。 3.安装java环境 安装 JDK ...
分类:
其他好文 时间:
2018-03-31 00:38:34
阅读次数:
368
环境: 三台机器 ubuntu14.04 hadoop2.7.5 架构: machine101 :名称节点、数据节点、SecondaryNaemnode、ResourceManager、NodeManger machine102、machine103 :数据节点、NodeManger 1、安装jdk ...
分类:
其他好文 时间:
2018-03-29 21:25:24
阅读次数:
192