环境准备 kafka依赖zookeeper,所以搭建kafka需要先配置zookeeper。网格信息如下: zookeeper 192.168.56.101:2181 kafka1 192.168.56.101:9092 kafka2 192.168.56.101:9093 kafka3 192.1 ...
分类:
其他好文 时间:
2021-06-23 16:51:10
阅读次数:
0
1. 为什么你们公司选择RabbitMQ作为消息中间件 在消息队列选型时,我们调研了市场上比较常用ActiveMQ,RabbitMQ,RocketMQ,Kafka。 RabbitMQ相对成熟稳定,这是我们选择它最主要的原因。 社区比较活跃,有完善的资料可以参考。 Rabbitmq的吞吐量可以达到万级 ...
分类:
其他好文 时间:
2021-06-22 18:28:57
阅读次数:
0
Elasticsearch-文档查询 数据准备 查询 简单查询 mall/goods/1 条件查询 GET mall/goods/_search?q=b_name: "如何" 复杂查询 匹配查询 GET mall/goods/_search { "query": { "match": { "b_na ...
分类:
其他好文 时间:
2021-06-22 18:01:13
阅读次数:
0
Elasticsearch-文档精确查询(term) match & term match:匹配查询 term:精准查询 term&match + text&keyword term&match 区别 term:精确查询,对查询的值不分词,直接进倒排索引去匹配。 match:模糊查询,对查询的值分词 ...
分类:
其他好文 时间:
2021-06-22 17:59:57
阅读次数:
0
1、查看所有索引 GET _cat/indices 2、创建一个新的索引 PUT /test { "mappings": { "_doc": { "properties": { "id": {"type": "keyword"}, "title": {"type": "keyword"}, "esD ...
分类:
其他好文 时间:
2021-06-21 21:11:29
阅读次数:
0
官网下载Kafka 安装包,解压安装: http://kafka.apache.org/downloads.html 编辑配置文件 #将kafka文件夹复制到另外两台节点下 注意修改每个节点对应的server.properties文件的broker.id和listenrs 启动kafka # 登录z ...
分类:
系统相关 时间:
2021-06-21 20:02:59
阅读次数:
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类:
其他好文 时间:
2021-06-20 18:41:23
阅读次数:
0
1 集群安装部署 1、下载安装包(http://kafka.apache.org) https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/inst ...
分类:
其他好文 时间:
2021-06-20 18:39:18
阅读次数:
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类:
其他好文 时间:
2021-06-20 18:38:22
阅读次数:
0
1 kafka概述 什么是Kafka 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka最初是由LinkedIn公司开发,并于 ...
分类:
其他好文 时间:
2021-06-20 17:36:06
阅读次数:
0