kafka依赖zookeeper，需要先安装zookeeper，参考:https://www.cnblogs.com/yinchh/p/12494681.html 单机 集群 三台服务器分别为 192.168.0.201 192.168.0.202 192.168.0.203 1.分别修改3台机器的 ...
分类：
其他好文 时间：
2020-03-16 23:21:24
阅读次数：
70
在很多的流处理框架的介绍中，都会说kafka是一个可靠的数据源，并且推荐使用Kafka当作数据源来进行使用。这是因为与其他消息引擎系统相比，kafka提供了可靠的数据保存及备份机制。并且通过消费者位移这一概念，可以让消费者在因某些原因宕机而重启后，可以轻易得回到宕机前的位置。 但其实kafka的可靠 ...
分类：
其他好文 时间：
2020-03-16 19:18:08
阅读次数：
78
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-03-15 18:59:04
阅读次数：
159
1.安装scala 2.11.8 2.解压下载包 cd ~/下载 sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app cd ~/app sudo mv kafka_2.11-0.10.1.0/ ./kafka sudo chown -R hadoop ./k ...
分类：
其他好文 时间：
2020-03-14 19:56:39
阅读次数：
121
作为一个Java进阶的架构师海量数据处理可不仅仅是消息处理，kafka是一个针对海量消息数据的处理的技术，同样也有数据库读写数据处理等等方面的大型架构项目周后期必备技能，MyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySQL协议的服务器；它的后端可以支持MySQL、SQL ...
分类：
其他好文 时间：
2020-03-14 17:03:16
阅读次数：
58
kafka这个东西到底是怎么一回事，其实很简单，就是一个消息中间件，可以订阅消息，也可以发布消息 所谓订阅，就是消费 所谓发布，就是生产 在分布式系统中，如果消费方在处理一项任务中需要联系到生产方，那么在调用对方系统的时候，如果对方系统调用失败，或者对方系统崩溃，而我方消费者系统仍需要继续执行的时候 ...
分类：
其他好文 时间：
2020-03-14 16:24:50
阅读次数：
46
[toc] 选择自动提交还是手动提交方式和业务场景相关，可以查看前面的博客，根据原理进行选择。 单线程消费 pom consumerConfig consumer 批量消费 开启批量消费需要3步 1、消费者设置 max.poll.records/ 2、消费者 开启批量消费 factory.setBa ...
分类：
编程语言 时间：
2020-03-13 20:52:10
阅读次数：
82
消费者位移的提交方式以及提交时机需要根据不同的业务场景进行选择，可以看之前的博客kafka消费者相关。 这里只做应用相关，更多的使用场景，该怎么用、何时用要看前面的博客了解原理。 参考博客：https://blog.csdn.net/yy756127197/article/details/10389 ...
分类：
编程语言 时间：
2020-03-13 20:44:37
阅读次数：
98
[toc] 生产者根据不同的业户需求和性能需求，选择合适的发送方式，可以达到最大效率。 具体选择哪一种发送方式，要考虑实际的业务场景。 简单来说： 1、保存用户点击情况、不重要的日志分析等大频率储存，但不担心丢失的情况下使用异步发送 2、订单、支付信息，信息量不一定很多，但是非常重要，就需要采取同步 ...
分类：
编程语言 时间：
2020-03-13 20:43:39
阅读次数：
80
专注Java相关技术：SSM、Spring全家桶、微服务、MySQL、集群、dubbo、分布式、中间件、Linux、网络、多线程、Jenkins、Nexus、Docker、ELK等等！ ...
分类：
数据库 时间：
2020-03-13 18:20:22
阅读次数：
74
