1. 概述 1.1 hive的特征: 可以通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析; 它可以使已经存储的数据结构化; 可以直接访问存储在Apache HDFS或其他数据存储系统(如Apache HBase)中的文件; Hive除了支持MapRe ...
分类:
其他好文 时间:
2020-04-19 19:49:32
阅读次数:
86
HBase的前提条件: JDK SSH Hadoop JDK:Hadoop和JDK运行的环境,他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如: jdk-8u161-linux-x64.rpm。 SSH:实现简单的服务器与主机的通信。在集群中,只有启动sshd后,才可以通过 ...
分类:
系统相关 时间:
2020-04-19 00:46:23
阅读次数:
101
安装前准备: 首先,要有一个HDFS集群,并正常运行; regionserver应该跟hdfs中的datanode在一起 其次,还需要一个zookeeper集群,并正常运行 然后,安装HBASE 开始安装hbase集群 1.解压安装包 tar -zvxf hbase-1.2.1-bin.tar.gz ...
分类:
其他好文 时间:
2020-04-18 18:35:01
阅读次数:
74
前言: 说起HBase这门技术,在认知上对于稍微接触或使用过它的人来讲,可能只是百千数据库中一个很普通的库,大概就像我对Redis的认知一样:缓存嘛!可对于HBase,我确实是带着某些感情在的。今日突然萌生了一个生趣的想法,想抛开技术的视角,从情感的角度,像写小说一样,写写这位老朋友,这可能会有点滑 ...
分类:
数据库 时间:
2020-04-18 09:46:13
阅读次数:
79
准备工作 需要先安装好Zookeeper集群和Hadoop集群 Zookeeper集群启动 Hadoop集群启动 HBase集群搭建 HBase解压 配置文件 hbase env.sh hbase site.xml regionservers 将hadoop的hdfs site.xml和core s ...
分类:
其他好文 时间:
2020-04-16 19:33:00
阅读次数:
61
定义在 hbase site.xml 文件 ...
分类:
其他好文 时间:
2020-04-14 09:17:18
阅读次数:
88
感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53323.htmlHBase通过Put操作和Result操作支持“byte-in/bytes-out”接口,所以任何可以转换为字节数组的内容都可以作为一个值存储。输入可以是字符串、数字、复杂对象、甚至可以是图像,只要它们可以呈现为字节。值的大小有实际的限制(例如,在HBase中存储10-50MB的对象可
分类:
其他好文 时间:
2020-04-11 10:15:34
阅读次数:
72
感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53327.html对于快速失败优于等待的应用程序在客户端的hbase-site.xml中,设置以下参数:设置hbase.client.pause=1000设置hbase.client.retries.number=3如果你想跨越分裂和区域移动,大幅增加hbase.client.retries.numbe
分类:
其他好文 时间:
2020-04-11 10:02:00
阅读次数:
60
感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53319.html你也可以将本文的标题理解为“如果我的表rowkey看起来像这样,但我也希望我的查询表这样。”dist-list上的一个常见示例是row-key格式为“user-timestamp”格式,但对于特定时间范围内的用户活动有报告要求。因此,用户选择容易,因为它处于密钥的主导位置,但时间不是。
分类:
其他好文 时间:
2020-04-11 09:48:59
阅读次数:
66
感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53333.htmlApacheMapReduce是一个用于分析大量数据的软件框架。它由ApacheHadoop提供。MapReduce本身超出了本文档的范围。开始使用MapReduce的好地方是https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-
分类:
其他好文 时间:
2020-04-11 09:37:51
阅读次数:
83