为什么需要消息队列 周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了…… 第二天正常上着班，突然接到 ...
分类：
其他好文 时间：
2020-07-07 16:05:41
阅读次数：
53
python生产消费Kafka主要是跟KafkaConsumer和KafkaProducer两个类打交道. from kafka import KafkaProducer, KafkaConsumer class PythonKafka(object): def __init__(self, top ...
分类：
编程语言 时间：
2020-07-07 15:01:26
阅读次数：
76
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等近些年来，开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目，关于流处理的大数据框架就有十几个之多，比如早期的ApacheSamza、ApacheStorm，以及这两年火爆的Spark以及Flink等。应该说，每个框架都有自己独特的地方，也都有自己的缺陷。面对这众多的流处理框架，我们应该如何选择呢？在本文汇
分类：
其他好文 时间：
2020-07-07 11:38:26
阅读次数：
67
最近，在对公司容器云的日志方案进行设计的时候，发现主流的ELK或者EFK比较重，再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统，下面介绍下Loki的背景。 背景和动机 当我们的容器云运行的应用或者某个节点出现问题了，解决思路应该如下： 我们的监控使用的是 ...
分类：
其他好文 时间：
2020-07-06 16:25:42
阅读次数：
92
环境准备 1. 三台服务器 10.1.34.215 10.1.34.216 10.1.34.217 2. 全部关闭防火墙和selinux systemctl stop firewalld && systemctl stop firewalld sed -i 's/=enforcing/=disabl ...
分类：
其他好文 时间：
2020-07-06 16:04:30
阅读次数：
59
#!/bin/bash cd /iflytek/client/kafka/kafka/bin echo "1--ZDR_RY_WWAB_RYHLXX" echo "2--ZDR_RY_WWAB__RX_ZJHM" read -p "please input 1-10:" num case $num ...
分类：
其他好文 时间：
2020-07-06 15:59:59
阅读次数：
55
集群环境 kafka+zkIP地址 主机名 Kafka版本 ZooKeeper版本 JDK版本172.17.0.2 kafka_node1 kafka_2.12-2.2.1.tgz zookeeper-3.4.14.tar.gz jdk-8u161-linux-x64.tar.gz172.17.0. ...
分类：
其他好文 时间：
2020-07-06 13:09:22
阅读次数：
50
MQ主要流程 解耦，异步，消峰 其中目的地主要为队列或者主题 队列点对点 消息的生产者 或者 这时消息的生产者名字已经出来 并且入队的数量变成了3 上述完成的也就是这部分 消息的消费者 前四步大同小异 这里需要和消息发送者的类型一致，所以需要强转一下 其中等待接收可以设置为一直等或者设置时长 最后再 ...
分类：
其他好文 时间：
2020-07-06 12:33:08
阅读次数：
64
Kafka安装部署 Kafka依赖zookeeper，默认kafka有自带的zookeeper，但是一般情况使用自建的好一些 1、 安装zookeeper 1) 创建目录 mkdir /data/kafka/zookeeper/{log,data} -p 2) 下载zookeeper安装包 cd / ...
分类：
其他好文 时间：
2020-07-06 10:58:34
阅读次数：
97
ELK简介1.ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎，使用Java语言编写。2.Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析、过滤，并将数据发送给ES。3.Kibana为Elasticsearch提供了分析和
分类：
其他好文 时间：
2020-07-06 01:15:14
阅读次数：
52
