1 kafka概述 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于 ...
分类：
其他好文 时间：
2021-06-20 17:36:06
阅读次数：
0
2021-06-19 关键字： 1、shell中的文件描述符 与Linux文件系统一样，shell中也有文件描述符的概念，且每一个shell进程中都默认有三个已打开的文件描述符。它们分别代表“标准输入”、“标准输出”与“错误输出”，对应的文件描述符号分别为 0、1、2。描述符号3及以后的正整数值可自 ...
分类：
系统相关 时间：
2021-06-19 19:36:57
阅读次数：
0
zookeepr入门 一、简介 zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.1、Zookeeper工作机制： zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接收观察者的注册，一 ...
分类：
其他好文 时间：
2021-06-19 19:33:22
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
官方中文文档：https://kafka.apachecn.org/quickstart.html 1 下载安装包&解压缩 下载地址：http://kafka.apache.org 解压缩命令**(根据实际情况选择解压路径)**： tar -zxvf kafka_2.11-1.0.1.tgz -C ...
分类：
其他好文 时间：
2021-06-19 19:05:25
阅读次数：
0
一、如何执行 ./adapter.sh 20211121 'importdata.sh|!DATE' adapter.sh：适配器脚本 20201121：适配器脚本参数1，执行日期 'importdata.sh|!DATE'：适配器脚本参数2，具体需要执行的脚本和参数，以|分隔，多个参数也以|分隔 ...
分类：
系统相关 时间：
2021-06-19 18:59:41
阅读次数：
0
1、切换到下载目录，下载postgresql（此处我的文件下载到了download文件夹） cd /download wget {下载路径}(时间太久下载地址已经找不到了，可去官网查看，此处以此版本为例：postgresql-12.2.tar.bz2) 2、解压 tar -xjvf /downloa ...
分类：
数据库 时间：
2021-06-19 18:52:34
阅读次数：
0
# Linux 基础指令 vi打开文件 ls列出目录内容 cd -返回之前目录（不一定是上一级目录）cd 。。才是返回上一级 mkdir创建文件夹 mkdir -p递归创建文件夹 cp复制空文件 cp-r连内部文件一起复制 -p（保留文件属性如时间。。。） mv剪切没有这样的限制 vi /etc/s ...
分类：
系统相关 时间：
2021-06-19 18:44:14
阅读次数：
0
1.下载Zookeeper 官网 使用wget下载： wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 2.解压资源 # 解压资源到指定目录下 tar ...
分类：
其他好文 时间：
2021-06-18 20:04:20
阅读次数：
0
