1 kafka概述 什么是Kafka 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于 ...
分类：
其他好文 时间：
2021-06-20 17:36:06
阅读次数：
0
一、磁盘 硬盘的物理结构 盘片 ：硬盘有多个盘面，每盘片有2面 磁头 ：每面一个磁头 硬盘的数据结构 扇区：盘片被分为多个扇形区域，每个扇区存放512字节的数据，是硬盘的最小存储单位 磁道：同一盘片不同半径的同心圆，是由磁头在盘=片表面划出的圆形轨迹 柱面：不同盘片相同半径构成的圆柱面，由同一半径的 ...
分类：
其他好文 时间：
2021-06-19 19:34:00
阅读次数：
0
zookeepr入门 一、简介 zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.1、Zookeeper工作机制： zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接收观察者的注册，一 ...
分类：
其他好文 时间：
2021-06-19 19:33:22
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类：
数据库 时间：
2021-06-19 19:24:57
阅读次数：
0
官方中文文档：https://kafka.apachecn.org/quickstart.html 1 下载安装包&解压缩 下载地址：http://kafka.apache.org 解压缩命令**(根据实际情况选择解压路径)**： tar -zxvf kafka_2.11-1.0.1.tgz -C ...
分类：
其他好文 时间：
2021-06-19 19:05:25
阅读次数：
0
1.下载Zookeeper 官网 使用wget下载： wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz 2.解压资源 # 解压资源到指定目录下 tar ...
分类：
其他好文 时间：
2021-06-18 20:04:20
阅读次数：
0
#更新yum软件管理器 yum -y update #安装docker yum install -y docker 2.配置docker 加速器 curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361 ...
分类：
其他好文 时间：
2021-06-18 20:01:26
阅读次数：
0
在centos上最常用的定时任务服务是crond。 任务是由 cron (crond) 这个系统服务来控制的，这个系统服务是默认启动的。用户自己设置的计划任务则使用crontab命令。crond和crontab是不可分割的。 1. 安装软件服务 正常centos7自动安装crond服务及cronta ...
分类：
其他好文 时间：
2021-06-18 19:55:38
阅读次数：
0
yum 更新 # yum 包更新到最新 yum update 安装需要的软件包 # 安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 yum install -y yum-utils device-mapper-pers ...
分类：
其他好文 时间：
2021-06-18 19:09:40
阅读次数：
0
1.卸载旧的docker，可选，如果搭建K8S平台，CentOS自带的docker会报错，因此最好使用官方最新的docker版本。 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ dock ...
分类：
其他好文 时间：
2021-06-17 17:04:55
阅读次数：
0
