本篇文章主要是记录整体调整Python数据统计分析项目规范性的过程，以及自己的一些思考。 为什么要调整？ 主要是为了解决数据类程序不容易测试发现错误的现状。调整公共模块出错时抛出错误到业务层，便于报警模块上传错误信息到kafka，最后能主动发出报警邮件。以及方便加入报警之外的其他程序埋点。 调整所有 ...
分类：
编程语言 时间：
2020-12-16 12:32:52
阅读次数：
3
1、事出有因一个问题引发的国内外最牛逼的elasticsearch天团博客集合。兄弟们有玩过这个API的吗？这个suggest是干嘛作用的。死磕Elasticsearch知识星球微信群回复：如果看过wood大叔博客或者官方API，就能很快找到答案。2、Elastic中文社区1000期日报TOP30博客统计机器汇集3000+精彩人工推荐的Elastic博文，统计汇总后TOP文章来源统计如下：3、国内
分类：
其他好文 时间：
2020-12-16 12:20:52
阅读次数：
3
前言之前写过一篇《从源码分析如何优雅的使用Kafka生产者》，有生产者自然也就有消费者。建议对Kakfa还比较陌生的朋友可以先看看。就我的使用经验来说，大部分情况都是处于数据下游的消费者角色。也用Kafka消费过日均过亿的消息（不得不佩服Kakfa的设计），本文将借助我使用Kakfa消费数据的经验来聊聊如何高效的消费数据。单线程消费以之前生产者中的代码为例，事先准备好了一个Topic:data-p
分类：
其他好文 时间：
2020-12-16 12:08:05
阅读次数：
2
1. 概述 在2.x中，spark有两个用来与kafka整合的代码，版本代号为0.8和0.10，由于在0.8，kafka有两套消费者api，根据高级api得到了Receiver-based Approach，根据低级api得到了Direct Approach，而在0.10由于kafka只有一套消费者 ...
分类：
其他好文 时间：
2020-12-16 11:50:30
阅读次数：
4
一、ELK基础1、ELK简介ELK本质上是三个软件的组合，通过这三个软件的组合可以实现构建一个日志的收集、分析、展示的平台，也就是说借助于ELK可以实现把收集到的日志信息以饼图、柱形图、曲线图等直观的方式展示出来。ELK的三个组件如下：kibana：这个组件用来展示数据，用户访问的时候是访问kibanaelaticsearch简称es：用来存储数据的，kibana中所展示的数据都是来自于eslog
分类：
其他好文 时间：
2020-12-15 12:56:41
阅读次数：
7
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog？bin
分类：
数据库 时间：
2020-12-15 12:28:58
阅读次数：
5
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
各类消息中间件对顺序消息实现的做法是将具有顺序性的一类消息发往相同的主题分区中，只需要将这类消息设置相同的 Key 即可，而 Kafka 会在任意时刻保证一个消费组同时只能有一个消费者监听消费，因此可在消费时按分区进行顺序消费，保证每个分区的消息具备局部顺序性。由于需要确保分区消息的顺序性，并不能并 ...
分类：
编程语言 时间：
2020-12-15 12:04:52
阅读次数：
6
如何把Kafka消息时延秒降10倍背景国内某大型税务系统，业务应用分布式上云改造。业务难题如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个HTTP请求，这个请求发送到业务生产进程，就会启动一个投递线程（DeliverThread）调用Kafka的SDK接口，并发送3条消息到DMS（分布式消息服务），每条消息大小3k，需要等待3条消息都被处理完成后才会返回请求响应⑧。
分类：
其他好文 时间：
2020-12-15 11:39:09
阅读次数：
1
