§历史回顾2018年岁末,李大胖朦胧中上了开往Hbase王国的车,伴着一声长鸣,列出缓缓驶出站台,奔向无垠的广袤。(图片来自于网络)如不熟悉剧情的,可观看文章:五分钟轻松了解Hbase列式存储Hbase给初学者的“下马威”§生逢其时随着改革开放的持续推进,移动互联网的长足发展,以及物联网出现,旧有体制下的一些东西已经不能很好的适应发展的需要,无论是壁垒森严且高冷的Oracle,亦或是左右逢源并可爱
自从成为架构师之后,李大胖的学习动力似乎少了一些,尤其是今年(当然也有一些客观因素)。临近岁末,内心着实有些惭愧,决定学习一把大数据。跟随一下业界前沿(其实已经不是前沿了),梦想着有一天能够拥有拥有梦想的权力。操练起来启动装有CentOS的虚拟机(IP是172.18.232.181),按照官方文档内容选择hadoop-2.8.5和hbase-2.0.2,还有zookeeper-3.4.11进行下载
分类:
其他好文 时间:
2020-12-16 12:26:00
阅读次数:
3
行式存储传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,座位都在那里,不离不弃。列式存储为了与传统的区别,新型数据库叫做非关系型数据库,是按列来存储的。如下图:初次看列式存储稍微有点懵,下面给出行存与列存的转换:原来张三的一列(
分类:
其他好文 时间:
2020-12-16 12:25:10
阅读次数:
3
org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from cl ...
分类:
编程语言 时间:
2020-12-15 12:35:48
阅读次数:
4
Hbase RIT故障修复 业务场景: RocketMQ+Storm+Hbase 组件版本: RocketMQ:3.4.6 Storm:1.2.1 Hbase:1.2.1 1. 问题描述 4月15号早上发现业务系统前一天数据量明显偏低,查看系统发现storm入Hbase的TPS很低,甚至为0。 2. ...
分类:
其他好文 时间:
2020-12-15 12:03:44
阅读次数:
1
一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop,启动hive start-all.sh hive 3.创建数据库,创建文本 ...
分类:
其他好文 时间:
2020-12-09 12:15:14
阅读次数:
5
安卓程序动态调试需要满足两个条件。1.在AndroidMainfest.xml文件中,在application标签下,Android:debuggable=true。2.系统默认调式,在build.prop(boot.img),ro.debugable=1。一:实例演示java层反调试以“百度加固”为例。1.将样本拖入jdax-gui中,进行反编译,来到加固程序的onCreate里,如下图所示。2
分类:
编程语言 时间:
2020-12-09 11:59:17
阅读次数:
6
HBase在WAL机制开启的情况下,不考虑块缓存,数据日志会先写入HLog,然后进入Memstore,最后持久化到HFile中。HFile是存储在hdfs上的,WAL预写日志也是,但Memstore是在内存的 ...
分类:
其他好文 时间:
2020-12-07 12:09:37
阅读次数:
4
HBase读写流程 在网上找了一张图,这个画的比较简单,就拿这个图来说吧。 写流程 1.当Client发起一个Put请求时,首先访问Zookeeper获取hbase:meta表。 2.从hbase:meta表查询即将写入数据的Region位置。 3.Client向目标RegionServer发出写命 ...
分类:
其他好文 时间:
2020-12-02 12:39:17
阅读次数:
7
zookeeper技术介绍[python书籍福利]Zookeeper技术介绍ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和
分类:
编程语言 时间:
2020-12-02 11:57:17
阅读次数:
3