目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
先描述下这里的业务：我们有一个父类A，多个继承A的AA类、AB类、AC类，多了一些不同的业务字段。业务分为多个端，如：甲端、乙端，通过kafka来交互数据，数据格式为一个VO，包含多个业务属性以外，还有一个List<A>属性引用类，这里实质内容还是AA、AB、AC类。甲端封装好对应的参数后，传递给乙 ...
分类：
编程语言 时间：
2020-03-26 19:48:31
阅读次数：
63
Kafka Kafka是如何控制超时的？ 如何管理大量的topic，有哪些问题？ 零拷贝计数在Kafka中使用会有哪些副作用？ 为何大厂大规模实践中很少用Kafka？ 和其他MQ的比较：优缺点 多看源码 Mysql 项目中是如何分库分表保证服务不停机的 注册中心 注册中心需要满足CAP理论中的哪两个 ...
分类：
其他好文 时间：
2020-03-26 19:18:10
阅读次数：
56
logstash 是什么。 个人理解。就3个东西 输入input，输出output，过滤转换filter。 其中input可有有多种类型来源：beat网络传入，jdbc数据库查询来源，file来源文件。 什么时候用什么场景用。 因为logstash内存、cpu消耗非常大。所以每个机器上安装它去采集信 ...
分类：
其他好文 时间：
2020-03-26 12:26:47
阅读次数：
88
1、代码管理-->主要开源方案有gitlab、gerrit+repo、gogs 2、任务执行-->jenkins 3、自动化测试-->python 4、构件存储-->hdfs、nexus 5、日志管理-->ELK 6、部署工具-->ansible 7、系统集群高可用-->k8s 8、监控-->zab ...
分类：
其他好文 时间：
2020-03-26 01:39:44
阅读次数：
193
本章目录 1、概述 2、安装配置计算节点 一、概述 计算节点上： "https://docs.openstack.org/nova/rocky/install/compute install.html" nova compute调用libvirtd来创建虚拟机 nova compute的功能可以分为 ...
分类：
其他好文 时间：
2020-03-25 23:51:17
阅读次数：
182
从头消费数据需满足两个条件： 1. groupid为新的 2. auto_offset_reset_config的值为earliest Properties p = new Properties(); p.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "1 ...
分类：
其他好文 时间：
2020-03-25 23:47:02
阅读次数：
137
3.Partition Replication原则 Kafka高效文件存储设计特点 Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。 通过索引信息可以快速定位message和确定response的最大大小。 通过 ...
分类：
其他好文 时间：
2020-03-25 21:12:05
阅读次数：
54
Flink1.10版本支持SQLDDL的特性，本文章以从kafka消费数据，写入jdbc为例介绍整个流程。具体操作如下：1.下载flink1.10的安装包并解压：https://www.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz进入flink的lib目录，采用wget或是本地下载拷贝的方式下载依赖的conne
分类：
数据库 时间：
2020-03-25 10:31:34
阅读次数：
483
