分布式分为分布式缓存（Redis）、分布式锁（Redis 或 Zookeeper）、分布式服务（Dubbo 或 SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka 、RabbitMq）、分布式 Session 、分布式事务、分布式搜索（Elasticsearc ...
分类：
其他好文 时间：
2021-01-04 11:02:16
阅读次数：
0
Kafka概述 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 传统消息队列的应用场景 使用消息队列的好处 1:解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2:可恢复性 系统的一部分组件失效时 ...
分类：
其他好文 时间：
2021-01-02 10:52:13
阅读次数：
0
方式?：Redis的setNX() , 做消息id去重 java版本?目前不不?支持设置过期时间//Redis中操作，判断是否已经操作过 TODOboolean flag = jedis.setNX(key);if(flag){//消费}else{//忽略略，重复消费}方式?：redis的 Incr ...
分类：
其他好文 时间：
2020-12-28 10:58:18
阅读次数：
0
参考：尚硅谷相关课程 PPThttps://snailclimb.gitee.io/javaguide/#/docs/system-design/distributed-system/message-queue/Kafka%E5%B8%B8%E8%A7%81%E9%9D%A2%E8%AF%95%E9 ...
分类：
其他好文 时间：
2020-12-23 12:22:21
阅读次数：
0
最近项目上因为遇到数据量过大导致查询统计性能问题（oracle数据库、单表每月1亿多条车辆定位记录，由一个windows环境下的链路服务程序来接收车辆上传的定位数据写入oracle），急需使用大数据架构来解决。前期同事已经提出整体解决思路（修改链路服务程序，在写oracle的基础上同时写入kafka ...
kafka安装机器初始化参考ES安装，安装java，关闭防火墙，selinux等安装zookeeperyuminstall-ywgetwgethttps://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz#下载zookeepermkdir/usr/share/kafkatarzxvfkafka_2.13-2.6.0.tgz-C/usr/s
分类：
其他好文 时间：
2020-12-22 11:49:19
阅读次数：
0
搭建kafka集群 一.要先搭建zookeeper集群 搭建伪集群来熟悉搭建步骤，也就是采用一台电脑和多台电脑的区别。 1.步骤 下载 zookeeper下载：https://downloads.apache.org/zookeeper/ 这里选用的是 我这里下载的是zookeeper-3.5.7, ...
建议在用Scala编写相关功能实现时，边学习、边应用、边摸索以加深对Scala的理解和应用 ...
分类：
其他好文 时间：
2020-12-21 11:32:22
阅读次数：
0
Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作 ...
分类：
其他好文 时间：
2020-12-19 13:14:39
阅读次数：
1
https://www.cnblogs.com/importbigdata/p/10765558.html 1.kfkstreaming只能接kfk，而sparkstreaming比较通用 2.两种读取方法：1.director 效率高 2.receiver 3.写入方法：包装成可序列化类，再广播到 ...
分类：
其他好文 时间：
2020-12-19 13:02:39
阅读次数：
2
