注意： （1）\001 是hive当中默认使用的分隔符，这个玩意儿是一个asc 码值，键盘上面打不出来 （2）linux中一行写不下，可以末尾加上 一些空格和 “ \ ”，换行继续写余下的命令： bin/sqoop import --connect jdbc:mysql://192.168.25.2 ...
分类：
其他好文 时间：
2019-06-26 13:22:18
阅读次数：
91
ERROR Could not register mbeans java.security.AccessControlException: access denied ... https://blog.csdn.net/weixin_39445556/article/details/80802459 ...
分类：
其他好文 时间：
2019-06-23 01:23:41
阅读次数：
243
尚硅谷大数据技术之Sqoop 第1章 Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop ...
分类：
其他好文 时间：
2019-06-16 09:48:51
阅读次数：
178
本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 架构设计中的一些基本概念 分布式：系统中的多个模块在不同的服务器上部署，即可称为分布式系统。比如Tomcat和 ...
分类：
其他好文 时间：
2019-06-12 00:49:56
阅读次数：
129
导入：传统关系型数据库 >大数据平台的importmysql >hadoop--connect 指定关系型数据库链接url mysql:jdbc://hadoop02:3306/--username 指定数据库的用户名--password 指定数据库的密码--table 指定要导出数据的mysql数 ...
分类：
其他好文 时间：
2019-06-09 22:23:14
阅读次数：
107
1.导入数据（将mysql（rdbms）的表的数据导入到hdfs） 1.1.全部导入（注意空格） 1.2.查询导入 注意：sql语句的末尾必须加上$CONDITIONS 1.3.导入指定的列 提示:：columns中如果涉及到多列时，用逗号分割，分割时不要添加空格 1.4.使用sqoop关键字筛选查 ...
分类：
其他好文 时间：
2019-06-06 21:16:41
阅读次数：
139
条件 1.启动mysql service mysqld start 2.启动hadoop集群 start-all.sh 1.下载jar包（：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/） 2.上传安装包sqoop-1.4.6.bin__hadoop-2 ...
分类：
其他好文 时间：
2019-06-06 15:32:56
阅读次数：
83
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
其他好文 时间：
2019-06-02 22:55:47
阅读次数：
138
首先，提及大数据一词的概念。大数据本质还在于数据，但是它有着新的特征亮点。包括：数据来源广，数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等等。扩展讲大数据的4个基本特征，我们将进行下面额思考：1.数据来源广？广泛的数据来源从何而来，通过何种方式进行采集与汇总？相对应的我们出现Sqoop，Cammel，Da
分类：
其他好文 时间：
2019-06-02 11:44:27
阅读次数：
123
