ElasticSearch之介绍 一 Elasticsearch产生背景 1.1 大规模数据如何检索 如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题：1）用什么数据库好？(mysql、oracle、mongodb、hbase…)2）如何解决单点故障；( ...
分类：
其他好文 时间：
2019-12-31 21:31:10
阅读次数：
88
转：https://blog.csdn.net/qx12306/article/details/67014096 Sqoop是一款开源的工具，主要用于在Hadoop相关存储（HDFS、Hive、HBase）与传统关系数据库（MySql、Oracle等）间进行数据传递工作。Sqoop最早是作为Hado ...
分类：
数据库 时间：
2019-12-31 17:07:17
阅读次数：
126
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
概述传统的关系型数据库（RDBMS）如 MySQL，Oracle 因其存储引擎和事务的高一致性特性很难在高并发的情况下实现高吞吐和可扩展，因而产生了很多的NoSQL 数据库如 Redis,MongoDB,Hbase等，图形化数据库(GDBMS) Neo4j因其是把数据以图的形式存储在网络而不是磁盘， ...
分类：
数据库 时间：
2019-12-31 12:53:09
阅读次数：
120
hbase调优 一.表的设计 1.设置预分区表 原因:前期region读写都集中到一个regionserver上,直到文件足够大时,才进行分区,这样会降低性能. 解决方案:建表是设置预分区,这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。 public static ...
分类：
其他好文 时间：
2019-12-30 14:28:10
阅读次数：
76
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。 它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，tra ...
下载Hadoop安装包 下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站，找到我们要安装的版本，点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼 ...
分类：
其他好文 时间：
2019-12-28 23:14:30
阅读次数：
162
1. 下载安装包 1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/ ...
分类：
其他好文 时间：
2019-12-28 22:46:27
阅读次数：
86
zookeeper将管理一批''动物''，如小象hadoop，小鲸鱼hbase等，先记录下安装完全分布式zookeeper，以备后用。 解压zookeeper压缩包 [root@hadoop01 /home/software]# tar -zxvf zookeeper-3.4.8.tar.gz 修改 ...
分类：
其他好文 时间：
2019-12-28 22:34:08
阅读次数：
107
出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。 解决方法：1.重启hbasestop-hbase.sh、然后start-hbase.sh或者，要 ...
分类：
其他好文 时间：
2019-12-28 20:50:56
阅读次数：
86
