一、背景 目前项目是基于dubbo做为rpc，zk为注册中心实现多个微服务之间的远程服务调用。但需要本地联调dubbo接口时，需要绕过注册中心，达到不干扰线上服务，即只订阅不注册服务的目的。 二、实现 1.修改服务提供者的配置文件：provider.xml 或者 register="false"：禁 ...
分类：
其他好文 时间：
2019-11-01 13:04:05
阅读次数：
146
kafka介绍： 作用： 系统之间解耦和 峰值压力缓冲 异步通信 特点：生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据，高吞吐量，没有主从关系，依靠Zk协调 结构： topic：消息队列/分类 kafka里面的消息是有topic来组织的，简单的我们可以想象为一个队 ...
分类：
其他好文 时间：
2019-11-01 09:56:38
阅读次数：
84
NN1 NN2 DN ZK ZKFC JNNNODE01 * * *NODE02 * * * * *NODE03 * * *NODE04 * * 1、首先让两个NameNode能互相免密钥，在前一部分中node01已经能免密登陆node02了，所以再让node02免密登陆自己和node01就行 2、 ...
分类：
其他好文 时间：
2019-10-31 23:28:46
阅读次数：
123
1、JVM参数配置优化 如果使用的CMS GC算法，建议JVM Heap不要太大，在4GB以内就可以。JVM太大，导致Major GC或者Full GC产生的“stop the world”时间过长，导致broker和zk之间的session超时，比如重新选举controller节点和提升follo ...
分类：
其他好文 时间：
2019-10-31 10:37:50
阅读次数：
297
通过前面几篇文章，我们可以从整体上看到zk是如何处理网络数据的宏观架构。 本文我们从细节着手，看一下一个tcp的包是如何转换到内部的数据流处理的。 一、监听用户请求socket 基于NIO的端口监听，获取tcp数据流。 二、从连接中解析数据 接上一个nio提交过来的连接后，由 SelectorThr ...
分类：
其他好文 时间：
2019-10-29 13:57:20
阅读次数：
72
1、hadoop的bin目录下，执行命令以下命令清除Hbase数据 2、连接ZK，执行以下命令清除Hbase数据 3、重启ZK、重启hadoop（hdfs、yarn）、重启hbase ...
分类：
其他好文 时间：
2019-10-27 14:30:47
阅读次数：
77
1. 请先下载安装文件,java环境需提前安装，解压到指定目录：tar -zxvf kafka_2.11-2.3.1.tgz -C /root/soft/ 从官网下载文件，上传到centos虚拟机指定路径下，当前download文件夹下面 解压到指定目录soft文件夹下面： 2. 创建zk日志目录。 ...
分类：
其他好文 时间：
2019-10-26 19:17:29
阅读次数：
79
防止重复提交，主要是使用锁的形式来处理，如果是单机部署，可以使用本地缓存锁（Guava）即可，如果是分布式部署，则需要使用分布式锁（可以使用zk分布式锁或者redis分布式锁），本文的分布式锁以redis分布式锁为例。 一、本地锁（Guava） 1、导入依赖 2、自定义本地锁注解 3、本地锁注解实现 ...
分类：
编程语言 时间：
2019-10-23 20:07:44
阅读次数：
91
Ranger使用solrCloud存储审计日志 标签（空格分隔）： Ranger 1, Zookeeper 搭建 1，忽略。默认已经搭建好zk 集群。 VECS17820:2181,VECS17821:2181,VECS17822:2181 2,SolrCloud模式安装（三台机器） 1，JDK,环 ...
分类：
其他好文 时间：
2019-10-17 13:31:46
阅读次数：
236
SpringCloud01——服务的注册和发现 一、微服务的注册和发现 我们在微服务中，往往有服务提供者，服务消费者和服务注册中心。我们之前学习的Zookeeper就是一个注册中心。但是在官方的SpringCloud中，并不推荐使用ZK作为注册中心，我们往往使用eureka 服务提供者，服务消费者， ...
分类：
编程语言 时间：
2019-10-06 18:38:30
阅读次数：
149
