[toc] 大纲 机器环境及SSH预处理 hadoop安装部署 〇、Hadoop下载地址 采用apache官网下载地址进行下载 apache索引目录 "Index of /dist" 此处使用了 hadoop 3.1.2.tar.gz 一、分配机器环境 共3台机器 172.23.7.9 172.23 ...
分类：
其他好文 时间：
2019-08-22 23:41:15
阅读次数：
107
Hadoop安装主要步骤： （1）安装运行环境 （2）修改主机名和用户名 （3）配置静态IP地址 （4）配置SSH无密码连接 （5）安装JDK (6) 配置Hadoop (7) 格式化 hdfs (8) 启动hadoop并验证安装 下面详细解释 （1）安装运行环境，本文采用的是ubuntu镜像文件, ...
分类：
其他好文 时间：
2019-08-17 00:31:40
阅读次数：
106
壹、故障现象 贰、尝试解决 首先，本人遇见上述错的先决条件是：在安装jdk时，使用的是jdk的默认安装路径 C:\Program Files\Java\jdk1.xxxx ，然后在Windows电脑上解压安装本地hadoop，正确配置hadoop的系统环境变量$HADOOP_HOME及$HADOOP ...
分类：
其他好文 时间：
2019-08-11 10:33:48
阅读次数：
85
# 壹、故障现象 ```xml Microsoft Windows [版本 10.0.18362.239] (c) 2019 Microsoft Corporation。保留所有权利。 C:\Users\Chirius>hadoop version 系统找不到指定的路径。 Error: JAVA_H ...
分类：
其他好文 时间：
2019-08-11 00:26:20
阅读次数：
126
hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
前言 最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop 安装流程 安装spark需要先安装scala 注意在安装过程中需要对应spark与 ...
分类：
其他好文 时间：
2019-07-24 19:14:56
阅读次数：
88
这里分五个步骤来记录Hadoop安装步骤，以及启动和运行Hadoop。 一是安装Java运行环境，二是安装Hadoop，三是修改Hadoop安装目录下的配置文件，四是启动Hadoop，五是运行一个Hadoop自带的mapreduce的实例。 Windows 10 JDK 1.8.0_73 Hadoo ...
该方法没试过，先记下再说 1、软件版本说明： Goldengate 12c 12.2.0.1 for Oracle（源端） Goldengate 12c 12.3.0.1 for Bigdata (目标端) Hadoop 2.6.4（安装参考我的博客 https://blog.csdn.net/Re ...
分类：
数据库 时间：
2019-05-16 10:53:35
阅读次数：
402
安装关系型数据库MySQL 安装大数据处理框架Hadoop 简述Hadoop平台的起源、发展历史与应用现状。 列举发展过程中重要的事件、主要版本、主要厂商； 国内外Hadoop应用的典型案例。 （1）Hadoop的介绍： Hadoop最早起源于Nutch，Nutch的设计目标是构建一个大型的全网搜索 ...
分类：
数据库 时间：
2019-05-11 23:35:02
阅读次数：
283
