一.下载 https://zookeeper.apache.org/ 二.本地模式安装 1.安装前准备 （1）安装Jdk （2）拷贝Zookeeper安装包到Linux系统下 （3）解压到指定目录 2.配置修改 （1）将/opt/module/zookeeper-3.4.10/conf这个路径下的z ...
分类：
其他好文 时间：
2018-12-14 19:26:26
阅读次数：
221
1，解压zookeeper tar -zxvf zookeeper-3.4.10.tar.gz 2,cd /..//zookeeper-3.4.10/conf修改 mv zoo_sample.cfg zoo.cfg 3,先进入/zookeeper-3.4.10下创建 makdir zkData pw ...
分类：
其他好文 时间：
2018-12-13 01:11:27
阅读次数：
557
1，hdfs的概述 HDFS的文件块：（面试也是常聊的） 块级大小可通过配置参数（dfs.dlocksize）来规定的，如果在完全分布式情况下，默认hadoop2.x版本大是128M，在本本地模式下是64M的。老版本是64M。 传输一个由多个块组成的文件的时间取决于磁盘传输速率。 如果寻址时间约为1 ...
分类：
其他好文 时间：
2018-12-09 17:22:56
阅读次数：
112
配置环境总是令人头大！ 苦苦挣扎数日后，博主总算活过来了！ 特分享成功配置 HIVE 的过程！ 类似Hadoop，Hive也有三种也不同的部署模式（本文采用第二种）： 1. 内嵌模式：将元数据保存在Hive内嵌的Derby数据库中，只允许一个会话连接 2. 本地模式：（以MySQL为例）在本地安装M ...
分类：
系统相关 时间：
2018-11-29 20:01:23
阅读次数：
208
Hive的安装模式： 1. 嵌入模式：HIve将元信息存储到自带derby数据库中，只能创建一个连接，只用于演示使用 2. 本地模式：元信息被存在Mysql数据库，Mysql数据库与HIve运行在同一台物理机器上，可以建立多个连接 3. 远程模式：元信息被保存在Mysql库中，HIve和Mysql运 ...
分类：
其他好文 时间：
2018-11-25 16:31:15
阅读次数：
188
1.安装模式介绍： Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。 a、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错） b、本地模式（本地安装mysql 替代derby存储元数据） c、远程模式（远程安装mysql 替代derby存储元数 ...
分类：
其他好文 时间：
2018-10-23 14:27:11
阅读次数：
217
beeline客户端 hive server、hive server2 的客户端，底层通过jdbc接口通讯 hive命令后面会取消，会使用beeline替代 不需要单独启动hive server的使用方式，类似于hive命令 需要单独启动hive server的使用方式 本地模式 默认任务会提交到h ...
分类：
其他好文 时间：
2018-10-13 02:26:47
阅读次数：
140
What is Zookeeper 是一个开源的分布式的，为分布式应用提供协作服务的Apache项目 提供一个简单的原语集合，以便与分布式应用可以在他之上构建更高层次的同步服务 设计非常简单易于编程，他使用的是类似于文件系统那样的树形数据结构。 目的就是将分布式服务不再需要有协作冲突而另外实现协作服 ...
分类：
其他好文 时间：
2018-09-30 12:42:50
阅读次数：
194
1 使用单机local模式提交任务 local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。 进入到Spark2.1.1的安装目录，命令是： 执行命令，用单 ...
分类：
其他好文 时间：
2018-09-28 15:24:33
阅读次数：
183
0. 说明 本地模式：使用的存储系统，是Linux系统 1. 将 Hadoop 的安装包通过 Xftp 发送到centos 用户的 home 目录 2. 解压安装包到 /soft下 tar -xzvf hadoop-2.7.3.tar.gz -C /soft 3. 进入到 /soft 下，建立符号链 ...
分类：
其他好文 时间：
2018-09-23 22:33:20
阅读次数：
287
