yum-yinstalljq[sqoop@uhadoop-mzwc2w-task3weather]$pwd/home/sqoop/scripts/weatherYouhavenewmailin/var/spool/mail/sqoop[sqoop@uhadoop-mzwc2w-task3weather]$catweather.sh#!/bin/bashecho‘------------------
分类：
系统相关 时间：
2020-05-14 01:23:05
阅读次数：
133
前言 目前仅在一家公司做过大数据相关，也不太清楚其他公司情况。东家这常用的大数据离线处理基本就是sqoop导入到hive中，然后使用spark或者hive计算出结果再导出到oracle中。很多情况下是把oracle中整个表或者某个时间条件的筛选出来的数据整个删掉，再把最新的这部分数据全部导数回到or ...
分类：
数据库 时间：
2020-05-05 21:59:35
阅读次数：
102
原文：https://www.jianshu.com/p/4e72b22edf49 1、数据仓库与数据库 数据仓库是数据库概念的升级，和数据库相比，数据仓库要比数据库更加庞大； 数据仓库主要用于分析数据，数据库主要用于捕获数据； 数据仓库主要存储历史数据，数据库存储在线交易数据； 数据仓库的基本元素 ...
分类：
其他好文 时间：
2020-04-21 18:09:21
阅读次数：
49
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
数据仓库建设中的数据抽取环节，常常需要增量抽取业务库数据。但业务库数据不是一层不变的，会根据时间发生状态变更，那么就需要同步更新变化数据到HIVE中。过去在Oracle上做数据仓库时，可以使用merge的方法合并新老数据。但hive中没有该功能，本文旨在通过sqoop抽取后，自动实现数据合并。 表设 ...
分类：
数据库 时间：
2020-04-07 18:32:57
阅读次数：
99
1-Azkaban介绍 2-Azkaban编译和安装模式 ...
分类：
其他好文 时间：
2020-04-06 10:08:03
阅读次数：
70
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
sqoop导入导出问题 sqoop export --connect jdbc:mysql://ip:3306/eqpt_base_db?characterEncoding=utf8 --username root --password secret_password --table A_JQZ_T ...
分类：
数据库 时间：
2020-03-31 12:49:45
阅读次数：
130
sqoop，将oracle数据传递到hive，可以直接将表数据覆盖传递，也可以按select传递，这里我用的是select查询的 脚本如下： 1、创建分区表，按c1分区 CREATE TABLE `xx.cc`( `c1` string) PARTITIONED BY(`c2` string); 2 ...
分类：
数据库 时间：
2020-03-27 14:25:12
阅读次数：
214
原文链接： https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了，如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为 ...
分类：
其他好文 时间：
2020-03-21 00:07:30
阅读次数：
68
