1、批处理 传统消息中间件，一次只发送单挑消息；kafka，一次发送多条消息，微批处理。 2、数据压缩 日志格式，数据压缩，snappy， 3、顺序写入 只在log文件末尾追加 4、分区 参考： (1)https://mp.weixin.qq.com/s/G5nfLpPOr80pk1sHzrLuOA ...
分类：
其他好文 时间：
2020-04-30 09:49:07
阅读次数：
61
ELK 官网： https://www.elastic.co/cn/what-is/elk-stack ElasticSearch ElasticSearch 是一个高可用开源全文检索和分析组件。提供存储服务，搜索服务，大数据准实时分析等。一般用于提供一些提供复杂搜索的应用 基本概念： Index ...
分类：
其他好文 时间：
2020-04-29 23:46:04
阅读次数：
71
原文:将日志输出到Docker容器外1.1 使用 Docker 容器日志 我们可以利用 docker logs 命令查看 Docker 容器内部应用程序运行时所产生的日志，可以免除首先进入 Docker 容器，再打开应用程序的日志文件的过程。docker logs 会监控容器中操作系统的标准输出设备... ...
分类：
其他好文 时间：
2020-04-29 21:38:30
阅读次数：
124
概述canal client将从canal server获取的binlog数据以json格式发送到各种MQ中(rabbitmq，redis，kafka)。部署第一步：下载解压项目，使用的是与canal-server 1.0.22版本对应的client（canal-client-1.0.22.tar. ...
分类：
其他好文 时间：
2020-04-29 18:12:34
阅读次数：
229
一个好的程序员，应该能设计出好的架构，而好的架构的各个系统之间往往是低耦合的，而消息队列，正是一个解耦的神器。 （1） 消息队列，也称消息中间件，主要优点是解耦、削峰、异步扩展性；并且kafka还能保证消息是顺序消费； （2） Kafka会将数据写到磁盘，所以不用担心数据断电丢失，所以，有时候，ka ...
分类：
其他好文 时间：
2020-04-29 17:55:16
阅读次数：
66
背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循 ...
分类：
其他好文 时间：
2020-04-29 10:30:59
阅读次数：
96
实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？ 如何快速的搭建实时数据分析平台，首先我们需要实时数据的接入端，我们选择高扩展性、容错性、速度极快的消息系统Kafka，而实时数据仓库，由于 Druid提供了非常方便快捷配置方式，如果不想编写负责的Flink和 ...
分类：
其他好文 时间：
2020-04-28 14:53:34
阅读次数：
59
技术回顾系列:最新最热门的技术大事 第一周 每一周我们都会回顾一下上周发生的有趣的事情，现在让我们来看看上周都发生了哪些事情吧： Apache Kafka 2.5.0发布了 Apache软件基金会在四月16日发布了最新的Apache Kafka 2.5.0版本。 该版本包含了最新的安全更新，新的指标 ...
分类：
其他好文 时间：
2020-04-28 09:23:55
阅读次数：
60
（1）Producer的API 1、发送流程：Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccum ...
通过KafkaUtils.createDirectStream该方法创建kafka的DStream数据源，传入有三个参数：ssc，LocationStrategies，ConsumerStrategies。 LocationStrategies有三种策略：PreferBrokers，PreferCo ...
分类：
其他好文 时间：
2020-04-27 19:04:15
阅读次数：
657
