01.安装VMware，加载centos镜像软件。配置主机、VMware、Windows的IP地址。 02.hadoop中目录介绍：bin目录 hdfs 、mapred、 yarn 命令 etc目录包含hdfs 、mapred、 yarn 相关的配置文件 sbin 目录与集群相关的命令 share目 ...
分类：
其他好文 时间：
2021-04-29 11:57:44
阅读次数：
0
一、实验背景 canal有一个参数canal.instance.standby.address可以指定源端数据库的从库为备选数据库，当源端master宕机后，canal仍能指向备库进行同步。 但是发现canal 1.1.4不兼容mariadb的gtid： 当canal instance里指定了gti ...
分类：
数据库 时间：
2021-04-28 11:41:01
阅读次数：
0
#Hadoop 分布式计算平台，同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8，引入纠删码，重写shell脚本，支持超过两个NameNode， ...
分类：
其他好文 时间：
2021-04-27 15:04:12
阅读次数：
0
1、hbase hbck -details hbaseTableName 1.1、如果出现 4 inconsistencies detected. Status: INCONSISTENT 表示不一致，需要修复 1.2、如果出现 0 inconsistencies detected. Status: ...
分类：
其他好文 时间：
2021-04-27 14:27:51
阅读次数：
0
原文链接：https://www.cnblogs.com/zsql/ 本篇主要对hadoop命令和hdfs命令进行阐述，yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系 ...
分类：
其他好文 时间：
2021-04-26 13:47:48
阅读次数：
0
HBase客户端开发API 建立连接 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org. ...
分类：
编程语言 时间：
2021-04-26 13:29:32
阅读次数：
0
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 ...
分类：
其他好文 时间：
2021-04-26 13:03:24
阅读次数：
0
秒杀，就是在同一个时刻有大量请求争抢购买同一个商品，并完成交易的过程，其间涉及大量的并发读和并发写。 秒杀对于程序员来讲也意味着巨大的挑战。如何让系统面对百万级的请求流量不出故障？如何保证高并发情况下数据的一致性写？ 希望带你透彻理解秒杀系统的各个关键技术点，带你了解如何打造一个超大流量并发读写、高 ...
分类：
其他好文 时间：
2021-04-24 13:56:15
阅读次数：
0
kafka功能简单测试 启动zookeeper 启动zk命令： ./zhServer.sh start 启动akfka（注意server.properties的配置） 启动akfka命令：./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类：
其他好文 时间：
2021-04-24 13:16:11
阅读次数：
0
VRRP（Virtual Router Redundancy Protocol）：虚拟网关冗余协议 工作原理：核心路由器会每隔一段时间（2s）发送特定的VRRP报文，如果在5s没有收到对方发来的VRRP报文，就认为Master设备出现故障，此时的Backup会自动切换为Master 基础配置： AR ...
分类：
其他好文 时间：
2021-04-21 13:01:29
阅读次数：
0
