转自:https://blog.csdn.net/pmdream/article/details/113601956 一. 各种名词解释 1.1 ODS是什么? ODS层最好理解,基本上就是数据从源表拉过来,进行etl,比如mysql 映射到hive,那么到了hive里面就是ods层。 ODS 全称 ...
分类:
其他好文 时间:
2021-06-10 17:32:45
阅读次数:
0
1. Hadoop 概览Google 三篇论文(GFS -> HDFS,Map-Reduce -> MR,BigTable -> HBase)是 Hadoop 的思想之源。Hadoop 生态非常庞大,其最初两大核心是 HDFS 和 MR,分别负责存储和计算(Hadoop 1.x 中,MR 既负责计算 ...
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题: sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类:
数据库 时间:
2021-06-07 20:36:05
阅读次数:
0
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类:
数据库 时间:
2021-06-07 20:10:49
阅读次数:
0
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类:
数据库 时间:
2021-06-06 19:08:48
阅读次数:
0
LSMW: 老是摸我 这工具该退休了 ,S4下新工具强大亮相,LTMC:老唐卖钞 周日花了一天配通了LTMC的配置,周一研究了一天,周二开始导入数据: 特征及值:ZH_Characteristic.xml 分类:ZH_Class.xml 可配置物料:ZH_Material.xml VC BOM:ZH ...
分类:
其他好文 时间:
2021-06-06 18:48:16
阅读次数:
0
spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。 cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/lo ...
分类:
数据库 时间:
2021-06-02 19:08:19
阅读次数:
0
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类:
数据库 时间:
2021-06-02 19:00:44
阅读次数:
0
09 spark连接mysql数据库 spark连接mysql数据库 1、安装启动检查Mysql服务。 netstat -tunlp (3306) 2、spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin ...
分类:
数据库 时间:
2021-06-02 18:54:48
阅读次数:
0
安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql shell ...
分类:
数据库 时间:
2021-06-02 18:50:45
阅读次数:
0