Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
因OracledblinkBUG导致每次查询大量数据的时候无法查询，现在通过datax直接将重要数据同步过来。datax的文档还是很齐全的，这里走了许多弯路。{"job":{"setting":{"speed":{"channel":5}},"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"selectuser"
分类：
数据库 时间：
2020-07-12 13:52:21
阅读次数：
89
mysql>show variables like 'secure_file_priv'; //查看导入导出的默认检索路径 修改默认的检索路径： step1:自定义创建目录路径并修改所有者为mysql，不要建在/root下 chown -R mysql.mysql 目录路径 step2：修改/etc ...
分类：
数据库 时间：
2020-07-01 12:33:25
阅读次数：
75
总结：这种适合把已有的MySQL数据导入到Elasticsearch中 有一个csv文件，把里面的数据通过Navicat Premium 软件导入到数据表中，共有998条数据 文件下载地址：https://files.cnblogs.com/files/sanduzxcvbnm/SalesJan20 ...
分类：
数据库 时间：
2020-05-09 16:40:38
阅读次数：
83
前期准备 mysql / 数据导入： Navicat Premium Data Transfer Source Server : localhost Source Server Type : MySQL Source Server Version : 50624 Source Host : loca ...
分类：
数据库 时间：
2020-05-08 22:31:52
阅读次数：
90
数据导入导出 数据导出 在日常维护工作当中经常会需要对数据进行导出操作，而mysqldump是导出数据过程中使用非常频繁的一个工具；它自带的功能参数非常多，文章中会列举出一些常用的操作，在文章末尾会将所有的参数详细说明列出来。 语法： 默认不带参数的导出，导出文本内容大概如下： 。 1.导出所有数据 ...
分类：
数据库 时间：
2020-05-04 00:47:30
阅读次数：
71
1.首先在hive中建表（尽量与mysql字段对应） 2. 将mysql中的表导出 txt格式 3.通过hadoop 上传到HDFS上 命令 hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external ...
分类：
数据库 时间：
2020-04-24 18:41:58
阅读次数：
109
最近有一个将 mysql 数据导入到 MongoDB 中的需求，打算使用 Kettle 工具实现。本文章记录了数据导入从0到1的过程，最终实现了每秒钟快速导入约 1200 条数据。一起来看吧~ 一、Kettle 连接图 简单说下该转换流程，增量导入数据： <! more 1）根据 source 和 ...
分类：
数据库 时间：
2020-01-24 23:40:06
阅读次数：
116
Logstash：把MySQL数据导入到Elasticsearch中 前提条件 需要安装好Elasticsearch及Kibana。 MySQL安装 根据不同的操作系统我们分别对MySQL进行安装。我们可以访问网页来对MySQL进行安装。等我们安装完我们的MySQL后，在我们的terminal中，打 ...
分类：
数据库 时间：
2019-12-21 13:43:53
阅读次数：
94
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表： 接下来就可以操作了。。。 一、将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。 再Hdfs上创 ...
分类：
数据库 时间：
2019-12-01 17:03:39
阅读次数：
118
