1 kafka概述 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于 ...
分类：
其他好文 时间：
2021-06-20 17:36:06
阅读次数：
0
zookeepr入门 一、简介 zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.1、Zookeeper工作机制： zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接收观察者的注册，一 ...
分类：
其他好文 时间：
2021-06-19 19:33:22
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类：
数据库 时间：
2021-06-19 19:24:57
阅读次数：
0
1.在docker hub中搜索和查看对应的版本 https://hub.docker.com 2.在docker中获取对应的镜像 docker pull elasticsearch:7.13.2 3.运行镜像 docker run --name elasticsearch -d -e ES_JAV ...
分类：
其他好文 时间：
2021-06-19 19:21:45
阅读次数：
0
官方中文文档：https://kafka.apachecn.org/quickstart.html 1 下载安装包&解压缩 下载地址：http://kafka.apache.org 解压缩命令**(根据实际情况选择解压路径)**： tar -zxvf kafka_2.11-1.0.1.tgz -C ...
分类：
其他好文 时间：
2021-06-19 19:05:25
阅读次数：
0
1.下载Zookeeper 官网 使用wget下载： wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 2.解压资源 # 解压资源到指定目录下 tar ...
分类：
其他好文 时间：
2021-06-18 20:04:20
阅读次数：
0
kafka几圈搭建好了，但当一个节点挂机后整个集群还是不能使用并没有起到集群的作用，这是为什么？ 在新版本Kafka中，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障 注：上一篇博客地址https://www.cnblogs ...
分类：
其他好文 时间：
2021-06-18 18:52:34
阅读次数：
0
1.下载安装 wget https://artifacts.elastic.co/downloads/kibana/kibana-7.0.0-x86_64.rpm yum install -y kibana-7.0.0-x86_64.rpm 2.修改配置文件 vim /etc/kibana/kiba ...
分类：
其他好文 时间：
2021-06-16 18:25:40
阅读次数：
0
一 新增文档 #新增一个id为1的书籍（POST和PUT都可以） POST lqz/_doc/1/_create #POST lqz/_doc/1 #POST lqz/_doc 会自动创建id,必须用Post { "title":"红楼梦", "price":12, "publish_addr":{ ...
分类：
其他好文 时间：
2021-06-16 17:39:04
阅读次数：
0
1 match和term查询 # 并且和或者的条件 #并且 GET t3/doc/_search { "query": { "bool": { "must": [ { "match": { "title": "beautiful" } }, { "match": { "desc": "beautif ...
分类：
其他好文 时间：
2021-06-16 17:37:02
阅读次数：
0
