## 04、Spark Standalone集群搭建 ### 4.1 集群概述 独立模式是Spark集群模式之一，需要在多台节点上安装spark软件包，并分别启动master节点和worker节点。master节点是管理节点，负责和各worker节点通信，完成worker的注册与注销。worker节... ...
分类：
其他好文 时间：
2018-08-27 21:39:30
阅读次数：
125
Zookeeper安装 cd /opt/ tar -zxvf zookeeper-3.4.10.tar.gzmv zookeeper-3.4.10 /opt/zookeeper修改配置文件cd /opt zookeeper-3.4.10/conf/cp zoo_sample.cfg zoo.cfgv ...
分类：
其他好文 时间：
2018-08-27 15:28:56
阅读次数：
171
所需软件包 1.安装libfastcommon 2.安装fastdfs 3.安装fastdfs nginx module & nginx tracker配置 其他参数根据业务需求调整 storage配置 client配置 fastdfs nginx module配置 启动服务 检查服务启动状态 上传 ...
分类：
其他好文 时间：
2018-08-25 14:19:09
阅读次数：
453
21.22redis集群介绍多个redis节点网络互联，数据共享所有的节点都是一主一从（可以是多个从），其中从不提供服务，仅作为备用不支持同时处理多个键（如mset/mget），因为redis需要把键均匀分布在各个节点上，并发量很高的情况下同时创建键值会降低性能并导致不可预测的行为。支持在线增加、删除节点客户端可以连任何一个主节点进行读写21.23/21.24redis集群搭建配置场景设置：两台机
分类：
其他好文 时间：
2018-08-23 10:42:27
阅读次数：
164
引言在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什么先写单机的搭建，是因为作为个人学习的话，单机已足以，好吧，说实话是自己的电脑不行，使用虚拟机实在太卡了。。。整个的集群搭建是在公司的测试服务搭建的，在搭建的时候遇到各种各样的坑，当然也收获颇多。在成功搭建大数据
分类：
其他好文 时间：
2018-08-22 10:19:53
阅读次数：
235
一.环境配置 jdk1.8 centos7 二.环境搭建 1.安装jdk 这个不用怎么说了吧，可以直接yum安装或者自己下载tar包。yum安装不用配置javahome，但是需要知道javahome位置，因为hadoop是java项目,运行需要jdk环境。通过yum安装查找javahome如下: 可 ...
分类：
其他好文 时间：
2018-08-21 15:22:15
阅读次数：
195
接下来开始真正意义上的集群搭建 Tip：hadoop集群搭建完以后，最好要格式化：hadoop namenode -format; HDFS集群是否启动成功，看这两个进程：namenode/datanode; Yarn集群是否启动成功，看这两个进程：Resourcemanager/Namemanag ...
分类：
其他好文 时间：
2018-08-20 17:56:40
阅读次数：
193
`注意`：在使用该文档之前，您应该要对k8s的组件有一些了解，我就不描述组件在集群中所担任的角色了。并且没有使用到证书 [toc] 1 环境准备 1.1 基本环境 操作系统 软件版本 IP部署 1.2 初始化操作 /etc/hosts配置 防火墙+selinux repo文件 重启系统 reboot ...
分类：
其他好文 时间：
2018-08-18 17:50:56
阅读次数：
177
Docker搭建RabbitMQ集群 Docker安装 见 "官网" RabbitMQ镜像下载及配置 见 "此博文" 集群搭建 1. 首先,我们需要启动运行RabbitMQ 参数说明: ? d:后台进程运行 ? hostname:主机名称 ? p:端口映射 ? 15672:http访问端口 ? 56 ...
分类：
其他好文 时间：
2018-08-18 15:30:03
阅读次数：
504
