Hadoop生态圈 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（分布式计算框架）；HBASE（分布式列存数据库）； Zookeeper（分布式协作服务）；HIVE（数据仓库）；Pig(ad-hoc脚本）等。 二：详细了解一下其特性： Hadoop是一个由Apach ...
分类：
其他好文 时间：
2019-09-21 23:05:58
阅读次数：
119
为什么要有HBase？ Hadoop生态圈中有了Hive，Hive可以像关系型数据库那样操作数据，那么为什么还要有HBase？ 首先HBase是一个非关系型数据库，是用于存储数据的，Hive是用于处理数据的。 Hive操作数据时虽然可以像关系型数据库那样操作，但Hive只是一个操作工具，而非一个针对 ...
分类：
其他好文 时间：
2019-08-20 01:19:17
阅读次数：
62
（一）Hive 概述 （二）Hive在Hadoop生态圈中的位置 （三）Hive 架构设计 （四）Hive 的优点及应用场景 （五）Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive。 Cloudera版本的Hive。 这里选择下载Apache稳定版本apache-hive- ...
分类：
其他好文 时间：
2019-06-11 19:11:36
阅读次数：
139
一、综述 目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。( ...
分类：
Web程序 时间：
2019-06-07 00:54:47
阅读次数：
139
0.0 前言 本文主要基于最新的Spark 2.1.0版本。阅读本文可以对Spark 2.1.0的学习过程，运行流程，关键组件，原理有所了解。文章有点长，你也可以直接阅读感兴趣的部分，但是还是建议全面了解。 1.0 简介 Spark是Apache软件基金会下的分布式系统开源项目。在官网中这样概况这个 ...
分类：
其他好文 时间：
2019-05-20 13:20:44
阅读次数：
116
（一）Hive 概述 （二）Hive在Hadoop生态圈中的位置 （三）Hive 架构设计 （四）Hive 的优点及应用场景 （五）Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive。 Cloudera版本的Hive。 这里选择下载Apache稳定版本apache-hive- ...
分类：
其他好文 时间：
2019-05-10 16:19:14
阅读次数：
177
linux内核高级优化脚本可以用于hadoop生态圈环境的组件安装linux内核调优具体的每一步的解释请参考03搭建cdh备注：使用与centos6和centos7两个系统版本执行[root@lb01scripts]#pwd/opt/scripts[root@lb01scripts]#lltotal12-rw-r--r--1rootroot3837Apr2214:34adlinuxopt.sh-r
分类：
系统相关 时间：
2019-04-22 15:21:16
阅读次数：
256
Spark运行模式 Local 多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 Mesos 资 ...
分类：
其他好文 时间：
2019-02-23 01:35:09
阅读次数：
214
2019/2/19星期二zookeeper基本概念和功能zookeeper是hadoop生态圈里面重要的底层的框架，主要为上层的框架提供分布式协调服务的。hadoop-spof问题及HA解决思路引入集群协调服务框架的必要性zookeeper简介ZooKeeper是一个分布式应用程序协调服务，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。目前zookeeper被广泛应用于hadoop生
分类：
其他好文 时间：
2019-02-19 16:25:50
阅读次数：
296
转自：https://www.cnblogs.com/zlslch/p/5902680.html 在hadoop生态圈里，很多地方都需zookeeper。 启动的时候，都是普通的server，但在启动过程中，通过一个特定的选举机制，选出一个leader。 只运行在一台服务器上，适合测试环境；Zook ...
分类：
其他好文 时间：
2019-02-14 13:18:57
阅读次数：
209
