Kafka 最初考虑的问题是，customer 应该从 brokes 拉取消息还是 brokers 将消 息推送到 consumer，也就是 pull 还 push。在这方面，Kafka 遵循了一种大部分 消息系统共同的传统的设计：producer 将消息推送到 broker，consumer 从 ...
分类：
其他好文 时间：
2020-12-03 11:32:29
阅读次数：
3
ELK集群配置安装初始化iptables关闭selinux关闭配置hosts解析[root@localhostelasticsearch]#cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6lo
分类：
其他好文 时间：
2020-12-01 11:46:16
阅读次数：
2
前段时间跟一个朋友聊起kafka,flint,spark这些是不是某种分布式运算框架。我自认为的分布式运算框架最基础条件是能够把多个集群节点当作一个完整的系统，然后程序好像是在同一台机器的内存里运行一样。当然，这种集成实现方式有赖于底层的一套消息系统。这套消息系统可以把消息随意在集群各节点之间自由传 ...
分类：
其他好文 时间：
2020-11-30 16:09:25
阅读次数：
9
1）配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F ...
分类：
Web程序 时间：
2020-11-30 15:35:17
阅读次数：
9
一，引言 今天开始学习新的内容 Azure Service Bus（服务总线），其实也叫 ”云消息服务“，和 RabbitMQ，KafKa的一样都是作为消息通信服务，但是它们直接还有有很多区别的，我这里就不过多解释了，大家可以自行了解。以下是我对Azure Service Bus的理解 Azure ...
分类：
其他好文 时间：
2020-11-26 14:22:11
阅读次数：
5
参考： https://www.cnblogs.com/sujing/p/10960832.html https://blog.csdn.net/suifeng3051/article/details/48053965 https://blog.csdn.net/u013573133/article ...
分类：
其他好文 时间：
2020-11-25 13:00:37
阅读次数：
16
基于kerberos 加密的kafka消息我们在用spring binder链接的时候配置应当如下： #input spring.cloud.stream.bindings.process-in-0.destination=input-topic spring.cloud.stream.bindin ...
分类：
编程语言 时间：
2020-11-25 12:45:59
阅读次数：
10
单机版Kafka搭建参考：【Kafka】 Kafka安装 Kafka集群搭建 环境系统：CentOS 7.4 kafka版本：2.6.0 由于资源有限，只有一台服务器，本例搭建的是一个伪集群Kafka环境 1、搭建一个zookeeper集群，参考：【ZooKeeper】ZooKeeper安装及简单操 ...
分类：
其他好文 时间：
2020-11-23 12:20:32
阅读次数：
6
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
