一.环境介绍1.centos7.6vmware虚拟机主节点190.168.3.250slave190.168.3.251slave190.168.3.2522.每个节点配置好hosts解析3.下载好软件https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop-3.
分类:
其他好文 时间:
2020-09-07 19:16:59
阅读次数:
68
一、环境介绍 @vue/cli 4.3.1 webpack 4.43.0 ueditor1.4.3.3 jsp版 二、springboot集成ueditor,实现分布式图片上传 参考我的另一篇博客,《微服务迁移记(五):WEB层搭建(5)-集成ueditor编辑器,伪分布式图片上传》 配置完成后,有 ...
分类:
Web程序 时间:
2020-07-29 15:35:35
阅读次数:
188
Hadoop伪分布模式配置 Hadoop共有三种部署方式:本地模式,伪分布模式及集群模式;本次安装配置以伪分布模式为主,即在一台服务器上运行Hadoop(如果是分布式模式,则首先要配置Master主节点,其次配置Slave从节点)。以下说明如无特殊说明,默认使用root用户登录主节点,进行以下的一系 ...
分类:
其他好文 时间:
2020-06-28 00:11:54
阅读次数:
74
Hadoop是一个能够对海量数据进行分布式处理的系统架构,主要包含3大块:分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类:
其他好文 时间:
2020-06-27 11:40:19
阅读次数:
93
1.Hadoop平台: 1.理论概念:结构组成: 1. HDFS分布式文统.2.MapReduce计算大数据. 3Yarn任务调度与资源管理. 2. 伪分布式环境搭建: 网络配置: 配置网卡信息: vi /etc/sysconfig/network 配置主机的虚拟域名: vi /etc/hosts ...
分类:
其他好文 时间:
2020-06-21 11:26:51
阅读次数:
96
( 温馨提示:图片中有id有姓名,不要盗用哦,可参考流程,有问题评论区留言哦 ) 一、任务目标 1、了解Hadoop的3种运行模式 2、熟练掌握Hadoop伪分布模式安装流程 3、培养独立完成Hadoop伪分布安装的能力 二、系统环境 Linux Ubuntu 16.04 三、任务内容 在只安装Li ...
分类:
其他好文 时间:
2020-05-30 01:06:25
阅读次数:
168
Hadoop 简介: 两大核心:HDFS+MapReduce Hadoop1.0,Hadoop2.0 Linux:基础 shell,sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式:就是吧名称 ...
分类:
其他好文 时间:
2020-05-29 17:44:12
阅读次数:
71
第一步环境准备: jdk安装,用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3. ...
分类:
其他好文 时间:
2020-05-27 20:47:07
阅读次数:
90
apache版本 伪分布式 完全分布式 CDH版本 编译 编译环境 常见编译错误 CDH版本Zookeeper环境搭建 CDH版本Hadoop环境搭建 ...
分类:
Web程序 时间:
2020-05-22 22:59:12
阅读次数:
90
该课程总共22讲,分为五个部分。第一部分是课程介绍,对该课程需要使用的工具和课程规划进行一个简单的介绍。第二部分主要介绍kettle工具的安装和相关概念的介绍,并通过一个kettle小案例带领大家入门。第三部分主要讲解kettle工具各种控件的使用。第四部分则讲解kettle工具的一些高阶应用功能。第五部分给大家讲解kettle的实战综合案例。每次课程都是通过案例进行讲解,并提供详细的教案文档。整个讲解深入浅出,通俗易懂。
分类:
其他好文 时间:
2020-05-21 23:52:46
阅读次数:
212