一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
集群时间同步 **如果服务器在公网环境(能连接外网)，可以不采用集群时间同步。**因为服务器会定期和公网时间进行校准。 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 时间服务器配置(必须root用户) 首先需要设置一个时间服务器作为基准，其 ...
分类：
其他好文 时间：
2021-06-28 17:56:59
阅读次数：
0
#一、Linux操作系统引导过程 ###1.1 开机自检 1.服务器主机开机以后，将根据主板BIOS中的设置对CPU、内存、显卡、键盘等设备进行初步检测，检测成功后根据预设的启动顺序移交系统控制权，大多时候会移交给本机硬盘。 2.总结：检测出第一个能够引导系统的设备，比如硬盘或者光驱 ###1.2 ...
分类：
其他好文 时间：
2021-06-24 17:39:53
阅读次数：
0
某天晚上，客户碰到了这样的问题：K8s 集群一直扩容失败，所有节点都无法正常加入集群。在经过多番折腾无解后，客户将问题反馈到我们这里，希望得到技术支持。该问题的整个排查过程比较有意思，本文对其中的排查思路及所用的方法进行了归纳整理并分享给大家，希望能够对大家在排查此类问题时有些帮助和参考。 ...
分类：
其他好文 时间：
2021-06-24 17:32:16
阅读次数：
0
1. 为什么你们公司选择RabbitMQ作为消息中间件 在消息队列选型时，我们调研了市场上比较常用ActiveMQ，RabbitMQ，RocketMQ，Kafka。 RabbitMQ相对成熟稳定，这是我们选择它最主要的原因。 社区比较活跃，有完善的资料可以参考。 Rabbitmq的吞吐量可以达到万级 ...
分类：
其他好文 时间：
2021-06-22 18:28:57
阅读次数：
0
一、Hystrix重要概念 1. 是什么 Hystrix是一个用于处理分布式系统的延迟和容错的开源库，在分布式系统里，许多依赖不可避免的会调用失败，比如超时、异常等，Hystrix能够保证在一个依赖出问题的情况下，不会导致整体服务失败，避免级联故障，以提高分布式系统的弹性。 “断路器”本身是一种开关 ...
分类：
其他好文 时间：
2021-06-21 19:58:20
阅读次数：
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
第八章 日志管理 一日志文件对于诊断和解决系统中的问题很有帮助，因为Linux内核和运行迚程通常会把系统消息和错误消息写入相应的日志文件，默认日志文件存储在/var/log目录中，日志内容可用于系统审计和故障排除。RHEL 7的日志系统基于syslog协议，许多程序使用此系统记录事件，并将记录消息整 ...
分类：
其他好文 时间：
2021-06-20 18:30:34
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
