前言: 端口号:21881 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 本质:主要作用是注册 ...
分类:
其他好文 时间:
2021-01-19 12:08:39
阅读次数:
0
文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类:
数据库 时间:
2021-01-19 12:02:43
阅读次数:
0
restic -o s3.bucket-lookup=dns -o s3.region=oss-cn-beijing -r s3:https://xxx(bucket_name).oss-cn-beijing.aliyuncs.com init 需要修改代码, Go语言不太熟悉, 改的合不合理不太清 ...
分类:
其他好文 时间:
2021-01-19 11:54:37
阅读次数:
0
客户端发送查询命令 scan 'user', {COLUMNS => 'base_info', STARTROW => 'rk1', ENDROW => 'rk3'} 寻址过程 1. 客户端请求zk,获取meta表所在位置 2. zk返回节点位置(假设在hadoop01节点) 3. 客户端访问had ...
分类:
其他好文 时间:
2021-01-18 11:09:35
阅读次数:
0
hbase写数据流程 ?先从 zk找到meta表的region位置,然后读取meta表中的数据,meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的 region信息 找到这个region对应的regionServer,然后发送请求 把数据分 ...
分类:
其他好文 时间:
2021-01-18 11:07:30
阅读次数:
0
(部分摘自 https://www.cnblogs.com/kkxwze/p/10791719.html) 1、DDL和DML DML:数据操纵语言:比如insert,delete,update DQL:数据查询语言:Select 查询语句不存在提交问题 DDL:数据定义语言:如Create,Alt ...
分类:
数据库 时间:
2021-01-14 10:36:08
阅读次数:
0
1.搭建流程 1.1 ss初始化及启动 >1节点: cd /dm/bin ./dmdssinit path=/dm/data inst=ss1 port=35300 REGION_SIZE=2 DBF_SIZE=10240 RLOG_SIZE=128 ./dmdss path=/dm/data/SS ...
分类:
其他好文 时间:
2021-01-13 11:32:25
阅读次数:
0
需求分析: 15分钟内未支付的订单过期失效。 解决方案 被动设置:在查询订单的时候检查是否过期并设置过期状态。 定时调度:定时器定时查询并过期需要过期的订单。 延时队列:将未支付的订单放入一个延时队列中,依次取出过期订单。 过期提醒:reids支持将一个过期的key(订单号)通知给客户端,根据过期的 ...
分类:
Web程序 时间:
2021-01-12 10:38:51
阅读次数:
0
1 #region 三角函数和反三角函数 2 3 using System; 4 using System.Collections.Generic; 5 using System.IO; 6 using System.Linq; 7 using System.Messaging; 8 using S ...
Atlas 作用: 记录并展示Hive表字段含义,以及表和字段之间的数据血缘关系。 局限: 依赖HBase和solr。 Azkaban 作用: 实现任务流执行,满足任务间依赖关系。 局限: 任务能添加依赖的任务,但是不能传参数,任务流中任意一条路线断了,不能这条路线重启执行。 ...
分类:
其他好文 时间:
2021-01-07 12:23:38
阅读次数:
0