kafka它们属于消息队列;celery它们属于任务队列。 消息队列和任务队列,最大的不同之处就在于理念的不同 -- 消息队列传递的是“消息”,任务队列传递的是“任务”。 我们可以放到具体的应用场景上: 消息队列用来快速消费队列中的消息。比如日志处理场景,我们需要把不同服务器上的日志合并到一起,这时 ...
分类:
其他好文 时间:
2021-06-30 18:33:26
阅读次数:
0
Kafka宕机引发的高可用问题 问题要从一次Kafka的宕机开始说起。 笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的RabbitMQ,而是采用了设计之初就为日志处理而生的Kafka,所以我一直很好奇Kafka的高可用实现和保障。从Kafka部署后,系统内部使用的Kafk ...
分类:
其他好文 时间:
2021-06-02 14:22:26
阅读次数:
0
#异常处理 异常处理 在公共配置模块添加异常处理器配置类 @ControllerAdvice @Slf4j public class GlobalExceptionHandler { @ExceptionHandler(Exception.class) //指定出现什么异常执行这个方法,此处指定的是 ...
分类:
其他好文 时间:
2021-02-15 12:12:59
阅读次数:
0
处理线程中打开文件,每次读取一行并记录当前读取位置,没有下一行让出一秒logfile = './logs/%s_%s.log' % (appName, time.strftime('%Y_%m_%d')) file = open(logfile, 'r', encoding='utf-8') whi ...
分类:
编程语言 时间:
2020-12-30 10:45:44
阅读次数:
0
基于注解和AOP实现的自定义日志系统。只需要两个类就能实现: 1. 注解类:设置自定义属性属性 2. 切面类:用于横切注解,获取注解属性值,保存日志 方法一 注解类: //注解类 //属性可以根据需要自行添加 @Target({ElementType.TYPE, ElementType.METHOD ...
分类:
编程语言 时间:
2020-11-21 11:49:52
阅读次数:
4
介绍 RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件。主要用来做异步处理、应用解耦、流量削峰、日志处理等等方面的处理。 特点 可靠性: RabbitMQ使用一些机制来保证可靠性, 如持久化、传输确认及发布确认等。 灵活的路由 : 在消息进入队列之前,通过交换器来路由消息。对于... ...
分类:
其他好文 时间:
2020-10-07 20:24:27
阅读次数:
25
前言Log4j2是Log4j的进化版本,并提供了许多Logback可用的改进,同时解决了Logback体系结构中的一些固有问题。而且日志处理中我们会用到kafka作为日志管道。而kafka客户端依赖与Logback的兼容不是很完美,你可以选择排除依赖冲突或者使用Log4j2。排除Logback依赖SpringBoot2.x默认使用Logback日志框架,要使用Log4j2必须先排除Logback。
分类:
编程语言 时间:
2020-09-17 15:59:50
阅读次数:
29
WHY 日志概述 日志几乎是每个实际的软件项目从开发到最后实际运行过程中都必不可少的东西。它对于查看代码运行流程,记录发生的事情等方面都是很重要的。 一个好的日志系统应当能准确地记录需要记录的信息,同时兼具良好的性能,接下来本文将从0写一个Golang日志处理包。 通常Go应用程序多为并发模型应用, ...
分类:
其他好文 时间:
2020-08-11 14:18:24
阅读次数:
63
1.AOP + Redis 解决重复提交 重复提交是我们日常中比较频繁发生的事情,用户可以点击一个按钮多次,如未加相应的处理,就会请求后台多次,每次请求对后台服务来说都是一次性能的消耗,有些非幂等接口更是会有很多的业务问题,为此解决重复提交是一件非常重要的事情。当然解决重复提交也有很多种方法,如接口 ...
分类:
编程语言 时间:
2020-07-21 23:21:18
阅读次数:
109
SpringAOP日志处理带来的问题?我们有一个Pay(接口)然后两个实现类DollarPay和RmbPay,都需要重写pay()方法,这时我们需要对pay方法进行性能监控,日志的添加等等怎么做?最容易想到的方法?对每个字符方法均做日志代码的编写处理,如下面方式?缺点:代码重复太多,添加的日志代码耦合度太高(如果需要更改日志记录代码功能需求,类中方法需要全部改动,工程量浩大)使用装饰器模式/代理模
分类:
编程语言 时间:
2020-07-15 12:53:19
阅读次数:
80