数据源被代理后，通过被DataSourceProxy代理后，所执行的sql会被提取，解析，保存前镜像后，再执行业务sql，再保存后镜像，以便与后续出现异常，进行二阶段的回滚操作。关键技术四：集群HA，多层级冗余实现系统无单点故障GaussDB(openGauss)通过硬件冗余、实例冗余、数据冗余，实 ...
分类：
其他好文 时间：
2020-11-19 12:23:55
阅读次数：
4
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
对于生产环境，需以高可用的配置安装 Rancher，确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时，Rancher将与集群的 etcd 集成，并利用Kubernetes 调度实现高可用。 为确保高可用，本文所部署的 Kubernetes 集群将专用于运行 R ...
分类：
其他好文 时间：
2020-11-17 12:37:47
阅读次数：
6
最近留言问“高可用”的朋友颇多，找历史文章又找不到，故重新优化发布，希望大家有收获。一、什么是高可用高可用HA（HighAvailability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目
分类：
其他好文 时间：
2020-11-16 13:56:35
阅读次数：
7
在一些特殊环境中virbr0网卡有时候会造成难以预计的影响：第一种情况：网上有人说它可能会导致一些服务HA的VIP无法正常漂移，这点倒是没有发现
分类：
其他好文 时间：
2020-11-13 12:38:15
阅读次数：
3
Harbor 简介 Harbor 是由 VMware 公司中国团队为企业用户设计的 Registry server 开源项目，包括了权限管理(RBAC)、LDAP、审计、管理界面、自我注册、HA 等企业必需的功能，同时针对中国用户的特点，设计镜像复制和中文支持等功能。 作为一个企业级私有 Regis ...
分类：
其他好文 时间：
2020-11-08 17:18:14
阅读次数：
15
Hadoopnamenode高可用性分析：QJM核心源代码解读背景介绍HDFSnamenode在接受写操作时会记录日志，最早HDFS日志写本地，每次重启或出现故障后重启，通过本地镜像文件＋操作日志，就能还原到宕机之前的状态，不会出现数据不一致。如果要做高可用(HA)，日志写在单个机器上，这个机器磁盘出现问题，重启就恢复不了，导致数据不一致，出现的现象就是新建的文件不存在，删除成功的还在等诡异现象。
分类：
其他好文 时间：
2020-11-07 17:00:30
阅读次数：
24
FlinkStandalone模式部署集群是最简单的一种部署方式，不依赖于其他的组件，另外还支持YARN/Mesos/K8S等模式下的部署Standalone执行架构图：1）client客户端提交任务给Jobmanager2）JobManager负责申请任务运行所需要的资源并管理任务和资源。3）JobManager分发任务给TaskManager执行4）TaskManager定期向JobManag
分类：
其他好文 时间：
2020-11-06 02:26:29
阅读次数：
21
当我们为生产环境在本地设置Kubernetes（k8s）集群时，建议以高可用性部署它。高可用性意味着在HA中安装Kubernetes主节点或工作节点。在本文中，我将演示如何使用kubeadm实用程序设置高可用性的Kubernetes集群。为了进行演示，我使用了五个具有以下详细信息的CentOS7系统：k8s-master-1–最低CentOS7–192.168.1.40–2GBRAM，2vCPU，
分类：
Web程序 时间：
2020-11-06 01:30:38
阅读次数：
26
