Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManag
分类：
其他好文 时间：
2020-11-18 12:13:01
阅读次数：
6
准备系统性介绍“技术体系规划”了，这是第一篇。监控平台，服务治理，调用链跟踪，数据收集中心，自动化运维，自动化测试…很多要讲，却没想好从哪里入手。讲Z平台，可能需要提前介绍Y服务；讲Y服务，可能需要提前介绍X知识。思来想去，准备从技术体系里，最容易被遗漏，非常基础，却又非常重要的“集群信息管理”开始介绍。由于基础，可能部分同学会觉得简单；由于大家所在公司处于不同阶段，所以在实现上会介绍不同阶段的公
分类：
其他好文 时间：
2020-11-17 13:04:09
阅读次数：
26
对于生产环境，需以高可用的配置安装 Rancher，确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时，Rancher将与集群的 etcd 集成，并利用Kubernetes 调度实现高可用。 为确保高可用，本文所部署的 Kubernetes 集群将专用于运行 R ...
分类：
其他好文 时间：
2020-11-17 12:37:47
阅读次数：
6
有朋友问我，DNS轮询是不是过时的技术了？有了反向代理层（Nginx、LVS、F5等），是不是就不需要DNS轮询了？然而，反向代理层绝不能替代DNS轮询！反向代理层有什么用？架构实现时要注意什么？(1)作为服务端统一入口，屏蔽后端WEB集群细节，代表整个WEB集群；画外音：这就是为啥它叫反向代理。(2)保证WEB集群的扩展性，Nginx后端可随时加WEB实例；(3)实施负载均衡，反向代理层会将请求
分类：
其他好文 时间：
2020-11-17 12:12:08
阅读次数：
6
SM，第一篇服务网格（ServiceMesh）这两年异常之火，号称是下一代微服务架构，接下来两个月，准备系统性的写写这个东西，希望能够让大家对最新的架构技术，有个初步的了解。画外音：我的行文的风格了，“为什么”往往比“怎么样”更重要。互联网公司，经常使用的是微服务分层架构。画外音：为什么要服务化，详见《服务化到底解决什么问题？》。随着数据量不断增大，吞吐量不断增加，业务越来越复杂，服务的个数会越来
分类：
其他好文 时间：
2020-11-16 13:58:09
阅读次数：
14
开场白现在很多公司高并发的系统，以前的单体架构遇到了瓶颈，就需要一种架构来解决这种痛点，单体架构及系统流量很大的时候，并发量提不上来，很容易系统阻塞导致运转不起来，这个时候微服务就是为了解决这种痛点而生的，微服务，及把单体服务分成多个微服务，采用了分治思想，拆分的微服务也是要有度才行，不能分得太细。架构选型选型一对于并发非常大的可以采用，nginx集群加网关集群1、nginx可以做路由转发，同时可
分类：
其他好文 时间：
2020-11-16 13:05:28
阅读次数：
3
由于Jumpserver 本身不支持Reids高可用部署，采用Redis 哨兵模式实现Redis自身主备节点数据同步以及故障切换，但Jumpserver无法感知Redis主节点的IP切换，因此本文采用Redis 哨兵模式+Keepalived浮动IP的方式实现Redis的高可用，通过Keepalived监控Redis主节点的故障IP切换，实现浮动IP始终跟随Redis集群主节点，Jumpserver只用连接浮动IP即可始终连接Redis集群主节点。
分类：
其他好文 时间：
2020-11-12 14:30:03
阅读次数：
19
Jumpserver核心模块部署并实现Systemd系统服务管理
分类：
其他好文 时间：
2020-11-12 14:29:48
阅读次数：
20
【转】 springboot整合redis-sentinel支持Cache注解 一、前提 已经存在一个redis-sentinel集群，两个哨兵分别如下： /home/redis-sentinel-cluster/sentinel-1.conf port 26379 dir "/data" sent ...
分类：
编程语言 时间：
2020-11-12 14:17:04
阅读次数：
12
