分布式中最重要的一个概念：为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段。 在不同的技术层面，分布式有不同的体现：分布式文件系统、分布式缓存、分布式数据库、分布式计算。一些名词hadoop、zookeeper、MQ等都给分布式有关。 从理念上讲，分布式的实现有两种形式： （1） 水平扩展： ...
分类：
其他好文 时间：
2020-04-29 18:48:00
阅读次数：
70
? 1.主机名和IP配置 我们按照【三节点大数据环境安装教程1】已经完成虚拟机的克隆，但是我们克隆出来的三台虚拟机的配置是一样的需要做简单的修改. 1.1 启动三台虚拟机 1.启动第一台虚拟机 2.启动第二台虚拟机 3.启动第三台虚拟机 1.2 配置三台虚拟机主机名 1. 首先使用root用户名和r ...
分类：
其他好文 时间：
2020-04-29 14:55:31
阅读次数：
72
一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置 二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去 ...
分类：
其他好文 时间：
2020-04-29 10:59:03
阅读次数：
65
Hadoop 2.x 集群安装，包括 HDFS 集群、Yarn 集群以及 MapReduce 的安装
分类：
其他好文 时间：
2020-04-29 10:44:59
阅读次数：
76
【确保服务器集群安装和配置已经完成！】前言请根据读者的自身情况，进行相应随机应变。我的三台CentOS7服务器：主机：master（192.168.56.110）从机：slave0（192.168.56.111）从机：slave1（192.168.56.112）每一个节点的安装与配置是相同的，在实际 ...
分类：
其他好文 时间：
2020-04-29 01:28:44
阅读次数：
138
Hadoop的下载和安装 一：Hadoop的简介 Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实现分布式的计算。 Hadoop许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数千台机器， 每个机器都提供本地 ...
分类：
其他好文 时间：
2020-04-29 01:25:12
阅读次数：
151
一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co ...
分类：
其他好文 时间：
2020-04-28 20:13:43
阅读次数：
57
一.hadoop版本概述 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）,Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）, Hortonwo ...
分类：
其他好文 时间：
2020-04-28 17:00:18
阅读次数：
557
一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux ...
分类：
其他好文 时间：
2020-04-28 12:42:34
阅读次数：
85
