1、logstash简介? logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成... ...
分类：
其他好文 时间：
2020-04-24 01:35:41
阅读次数：
57
前言本文收集整理了各大厂常见面试题N道，你想要的这里都有内容涵盖：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka、Linux等技术栈，希望大家都能找到适合自己的公司，开开心心的撸代码。目录由于题量较多，篇幅的限制，文章中的面试题
分类：
其他好文 时间：
2020-04-24 01:34:03
阅读次数：
47
生产者分区原则 1.指定partition编号的情况下，直接将指明的值直接作为partition值 2.没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值 3.没有partition值也没有key值的情况下，第一次调 ...
分类：
其他好文 时间：
2020-04-24 01:22:31
阅读次数：
72
ZooKeeper 3.6.0版本 kafka_2.12 2.4.1版本 ...
分类：
其他好文 时间：
2020-04-24 00:47:36
阅读次数：
130
一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类：
系统相关 时间：
2020-04-23 12:02:24
阅读次数：
86
一、KafkaSink 1、按流内容分发到对应topic，隔天自动切换 在flink自带的kafka sink实现里，只支持写到固定topic，而我们的kafka2kafka日志处理逻辑要求消息要按照ds字段值写入到对应topic，topic名前缀相同，后面跟ds字段值，需要进行改造 具体实现思路如 ...
分类：
其他好文 时间：
2020-04-22 19:44:07
阅读次数：
183
最近在做将kafka里面的业务日志写入到hbase 当中，然后要对hbase 里面的数据进行解析然后插入到数据库当中。 为了能节约磁盘空间想对hbase里面的数据进行删除，但是我们设置的rowkey是按照每小时 加日期 然后加hash码的方式组成的。例子如下： 这个地方我们没有办法通过框定一个时间范 ...
分类：
系统相关 时间：
2020-04-22 16:12:15
阅读次数：
337
1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认 ...
分类：
其他好文 时间：
2020-04-22 13:03:17
阅读次数：
96
小编整理出一篇Java进阶架构师之路的核心知识，同时也是面试时面试官必问的知识点，篇章也是包括了很多知识点，其中包括了有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty与RPC、Kafka、日记、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等等由于pdf文档里的细节内容实在过多所以只编辑了部分知识点的章节粗略的介绍下，每个章节小节点里面都
分类：
编程语言 时间：
2020-04-22 09:36:02
阅读次数：
112
1、_cluster接口命令heakth: 集群健康状况：state: 查看集群节点：stats: 统计数据； 部分截图查看单个节点状况：[root@node1 ~]# curl -X GET 'http://node1:9200/_nodes/stats?pretty'2、Plugins(插件)插... ...
分类：
其他好文 时间：
2020-04-21 23:43:07
阅读次数：
91
