0x00 java环境配置 Hadoop需要java环境，首先检测是否存在java环境： java –version 如果没有，则需要去Oracle官网下载jdk： https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.h ...
分类：
系统相关 时间：
2020-04-19 13:00:02
阅读次数：
84
HBase的前提条件： JDK SSH Hadoop JDK:Hadoop和JDK运行的环境，他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如： jdk-8u161-linux-x64.rpm。 SSH:实现简单的服务器与主机的通信。在集群中，只有启动sshd后，才可以通过 ...
分类：
系统相关 时间：
2020-04-19 00:46:23
阅读次数：
101
安装前准备： 1.3台主机 2.安装jdk 3.免密登陆 开始安装spark 1.解压安装包 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 2.修改配置文件 cd conf cp spark-env.sh.template spark-env.shcp slaves ...
分类：
其他好文 时间：
2020-04-19 00:31:12
阅读次数：
85
一、前提条件 1、3台虚拟机，java1.8环境配置，hadoop-2.7.7集群搭建(参见https://www.cnblogs.com/yangy1/p/12362565.html，以及https://www.cnblogs.com/yangy1/p/12367462.html中的横向扩容) 2 ...
分类：
其他好文 时间：
2020-04-17 00:28:41
阅读次数：
83
一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 ...
分类：
其他好文 时间：
2020-04-17 00:23:32
阅读次数：
85
Hadoop安装，在格式化时有错误 [Fatal Error] core-site.xml:1:8: Element type "meNode" must be followed by either attribute specifications, ">" or "/>".20/04/16 10: ...
分类：
其他好文 时间：
2020-04-17 00:15:56
阅读次数：
105
1.前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信(ssh免密)。 1.2 Java1.8环境已经配置好 1.3 Hadoop集群已经完成搭建 1.4 Scala软件包和Spark软件包的下载 https://www.scala-lang.org/download/ http://spar ...
分类：
其他好文 时间：
2020-04-17 00:05:12
阅读次数：
66
准备工作 需要先安装好Zookeeper集群和Hadoop集群 Zookeeper集群启动 Hadoop集群启动 HBase集群搭建 HBase解压 配置文件 hbase env.sh hbase site.xml regionservers 将hadoop的hdfs site.xml和core s ...
分类：
其他好文 时间：
2020-04-16 19:33:00
阅读次数：
61
YARN 调度器 1、FIFO（先进先出调度器） 单队列，任务独占所有资源，先进先出； 优点：简单不需配置； 缺点：大集群中大小任务都会阻塞； 2、Capacity（容量调度器） 多队列（单队列FIFO），支持配额，弹性队列，延迟调度（等待别的队列容器释放而非抢占） 优点：相比FIFO更适用于集群 ...
分类：
其他好文 时间：
2020-04-16 13:05:12
阅读次数：
74
一、概述 1. 数据序列化就是将对象或者数据结构转化成特定的格式，使其可在网络中传输，或者可存储在内存或者文件中2. 反序列化则是相反的操作，将对象从序列化数据中还原出来数据序列化的重点在于数据的交换和传输 二、衡量标准 1. 序列化之后的数据大小。因为序列化的数据要通过网络进行传输或者是存储在内存 ...
分类：
其他好文 时间：
2020-04-16 10:32:52
阅读次数：
67
