1、在MySQL中新建表stu，插入一些数据 2、将MySQL表的stu中的数据导入到hive中 [root@bigdata113 ~]# sqoop import --connect jdbc:mysql://bigdata113:3306/mysqlhdfs --username root -- ...
分类：
其他好文 时间：
2019-10-06 14:58:08
阅读次数：
81
1、在MySQL中创建表student 2、在MySQL中创建表student4 3、在hive中创建表student3 hive (default)> create table student3(id int,name string,sex string) > row format delimit ...
分类：
其他好文 时间：
2019-10-05 18:40:42
阅读次数：
108
1.1.1 下载sqoop1：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz1.1.2 解压并查看目录： 1.2 配置sqoop——mysql连接器：下载mysql-connector-java-8.0.16.jar，并将其拷贝至sqoop安装目录下的lib文件夹里1.3 ...
分类：
其他好文 时间：
2019-10-02 12:20:46
阅读次数：
109
hadoop简介 hadoop是基于Java语言开发的，具有很好的跨平台性，并且可以部署在廉价的计算机群众，hadoop的核心是分布式文件系统HDFS（hadoop distributed file system）和mapreduce,HDFS具有较高的读写速度和和好的容错性和可伸缩性并且具有大规模 ...
分类：
其他好文 时间：
2019-09-21 18:47:50
阅读次数：
87
配置Flume 修改flume env.sh 修改Hbase的hbase env.sh（未出现异常可以忽略） 查看Flume配置版本 测试Flume（avro source） 修改avro.conf 启动flume agent a1 向指定文件写入日志 启动avro client 在启动的服务控制台 ...
分类：
Web程序 时间：
2019-09-13 21:43:36
阅读次数：
114
1.1.1.读取Socket数据 ●准备工作 nc -lk 9999 hadoop spark sqoop hadoop spark hive hadoop ●代码演示： import org.apache.spark.SparkContext import org.apache.spark.sql ...
分类：
其他好文 时间：
2019-09-11 10:06:19
阅读次数：
126
1、大数据流程图 2、大数据各个环节主要技术 2.1、数据处理主要技术 Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中， 也可以将H ...
分类：
其他好文 时间：
2019-09-02 09:22:58
阅读次数：
144
sqoop安装：安装在一台节点上就可以了。 1.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 2.使用 第一类：数据库中的数据导入到HDFS上 指定输出路径、指定数据分隔符 指定Map数量 -m 增加where条件, 注意：条件必须用引号引起来 增加 ...
分类：
其他好文 时间：
2019-08-30 16:03:55
阅读次数：
113
Sqoop 数据迁移工具 sqoop : SQL to hadOOP 两个功能: 1、 RDB 向HDFS导入 2、 HDFS向RDB导入 注：拷贝mysql-connector.jar 和 json.jar 到sqoop/lib目录下 HDFS导入使用 命令很长，一般写成shell脚本。（运行需要 ...
分类：
其他好文 时间：
2019-08-28 15:57:39
阅读次数：
87
先通过可视化工具链接mysql，在链接的时候用sqoop 用户登录 在数据库userdb下新建表 保存，输入表名upflow 现在我们需要把hive里面的数据通过sqoop导入到mysql里面 可以看到mysql的数据 ...
分类：
数据库 时间：
2019-08-27 01:14:19
阅读次数：
141
