1、官网下载地址：https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxC ...
分类：
其他好文 时间：
2020-07-17 22:02:27
阅读次数：
140
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类：
其他好文 时间：
2020-07-17 11:26:18
阅读次数：
54
一.导入依赖 创建模块，导入以下依赖，maven默认编译版本是1.5，用1.8编译。 pom.xml <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactI ...
分类：
编程语言 时间：
2020-07-16 21:20:39
阅读次数：
68
水平有限，本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机： $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类：
其他好文 时间：
2020-07-13 13:14:44
阅读次数：
63
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类：
其他好文 时间：
2020-07-10 19:26:31
阅读次数：
86
前几天HBase出现了RIT告警，忽然发现发出告警的Region所属的表并不是我创建出来的，于是就想看看这些表是怎么来的。 一时也没什么头绪，就先看看这些表是什么时候创建出来的吧，然后再根据时间点看看有谁操作了数据库。 那么怎么看表的创建时间呢？desc看一下，也没有这个属性啊。再细想呢，hbase ...
分类：
其他好文 时间：
2020-07-10 15:14:17
阅读次数：
168
package com.sjw.flink import org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkF ...
分类：
其他好文 时间：
2020-07-10 00:43:32
阅读次数：
74
package com.sjw.hbase; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org ...
kettle 经常在调度的时候，会出新重复使用的变量，如果使用一次就去输入一次变量，这样非常的浪费时间。为了解决这一问题，我们将环境变量设置为固定的 1.永久设置环境变量 找到自己电脑上的 .kettle 文件夹 下的repositories.xml 打开文件，文件里面是 kv形式，根据自己的需求填 ...
分类：
其他好文 时间：
2020-07-08 15:02:54
阅读次数：
65
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
