随着数据利用率的提高和数据共享行为变得频繁，对于大数据平台应用开发来说，如何进行数据交换是每个平台组件都绕不过去的问题。目前大数据平台应用开发的痛点围绕在如下五点： 1、随着大数据平台数据来源的增多，以及大数据集群本身之间的隔离，数据彼此之间缺少稳定安全的传输交换通道。 2、不同业务数据的存储方式不一样，缺少统一标准的数据交换协议。 3、数据所处的网络环境不一样，没有便捷的平台管理工具。
分类：
其他好文 时间：
2020-08-29 15:25:50
阅读次数：
63
一、添加集群里个节点的hostname并设置好对应主机名[root@node03~]#cat/etc/hosts0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain61.1.206mas
分类：
Web程序 时间：
2020-08-29 15:16:08
阅读次数：
75
K8S资源管理总结及dashboard创建 K8S核心资源管理方法： 陈述式管理：基于众多kubectl命令 声明式管理：基于k8s资源配置清单 GUI式管理：基于K8S仪表盘（dashboard） K8S四种核心的附件 CNI网络插件：如果集群足够小，其实不需要网络插件，只需要改iptables规 ...
分类：
其他好文 时间：
2020-08-28 14:31:58
阅读次数：
68
简介 谈到Redis服务器的高可用，如何保证备份的机器是原始服务器的完整备份呢？这时候就需要哨兵和复制。 哨兵(Sentinel)：可以管理多个Redis服务器，它提供了监控，提醒以及自动的故障转移的功能。 复制(Replication)：则是负责让一个Redis服务器可以配备多个备份的服务器。 R ...
分类：
其他好文 时间：
2020-08-28 12:05:29
阅读次数：
54
这篇文章主要介绍ElasticSearch的基本概念，学习文档、索引、集群、节点、分片等概念，同时会将ElasticSearch和关系型数据库做简单的类比，还会简单介绍RESTAPI的使用用法。ElasticSearch术语索引和文档是偏向于逻辑上的概念，节点和分片更偏向于物理上的概念。首先来说下什么是文档：文档（Document）ElasticSearch（简称ES）是面向文档的，文档是所有可搜
分类：
其他好文 时间：
2020-08-28 11:58:02
阅读次数：
47
本文主要介绍什么是ElasticSearch以及为什么需要它，如何在本机安装部署ElasticSearch实例，同时会演示安装ElasticSearch插件，以及如何在本地部署多实例集群，方便在日后学习分布式相关原理。什么是ElasticSearch？ElasticSearch是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasti
分类：
其他好文 时间：
2020-08-28 11:56:53
阅读次数：
55
一.zookeeper集群搭建 1.在linux系统的/usr/local/solr-cloud/下创建3个zookeeper的下载包，代表3台zookeeper服务器 2.分别在zookeeper包下创建data目录，目录中创建名为myid的文件，在该文件里书写一个编号，比如1；代表该节点（zoo ...
分类：
其他好文 时间：
2020-08-27 13:13:40
阅读次数：
43
上一篇文章，我们讲解了ZooKeeper入门知识，这篇文章主要讲解下ZooKeeper的架构，理解ZooKeeper的架构可以帮助我们更好地设计协同服务。首先我们来看下ZooKeeper的总体架构图。ZooKeeper总体架构应用使用ZooKeeper客户端库来使用ZooKeeper服务，ZooKeeper客户端会和集群中某一个节点建立session，ZooKeeper客户端负责和ZooKeepe
分类：
其他好文 时间：
2020-08-27 13:07:22
阅读次数：
42
Twemproxy 概述 Twemproxy（又称为nutcracker）是一个轻量级的Redis和Memcached代理，主要用来减少对后端缓存服务器的连接数。Twemproxy是由Twitter开源出来的缓存服务器集群管理工具，主要用来弥补Redis/Memcached 对集群（cluster） ...
分类：
其他好文 时间：
2020-08-25 16:00:16
阅读次数：
49
