说起国际的Hadoop认证必须提Hadoop商业化的三家马车：Hortonwork、Cloudera和MapR。Hortonwork、Cloudera合并之后由于版本的不同目前的考试认证还是分离的，如果你目前需要一个大数据方面的认证，那真的可以了解一下Cloudera。Cloudera总共4门认证，三门CCA，分别为CCA131、CCA159、CCA175；一门CCPDE。这四门认证是没有等级关系
分类：
其他好文 时间：
2020-02-17 17:56:00
阅读次数：
103
Sqoop概述 Sqoop是一款开源的工具，主要用于在Hadoop生态系统（Hadoop、Hive等)与传统的数据库(MySQL、Oracle等)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop导入原理： 在导入 ...
分类：
其他好文 时间：
2020-02-12 14:33:53
阅读次数：
82
sqoop在导入数据时，可以使用--query搭配sql来指定查询条件，并且还需在sql中添加\$CONDITIONS，来实现并行运行mr的功能。 运行测试 测试均基于sqoop1，mysql数据准备如下。 （1）只要有--query+sql，就需要加\$CONDITIONS，哪怕只有一个mapta ...
分类：
其他好文 时间：
2020-02-07 15:06:18
阅读次数：
800
sqoop安装 sqoop镜像： http://mirror.bit.edu.cn/apache/sqoop/ https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/ http://archive.apache.org/dist/ #更多历史版本 本教程 ...
分类：
其他好文 时间：
2020-02-07 01:33:52
阅读次数：
97
sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，最后通过web+echart来进行图表展示，更加直观的展示数据指标。 sqoop基础 基 ...
分类：
其他好文 时间：
2020-02-06 16:40:10
阅读次数：
80
使用sqoop将hive中的统计数据导入到mysql中 思路：首先在hive上创建临时表，然后将统计数据放在临时表中，最后通过sqoop将临时表中的数据导入到mysql中。 例子：将各个官方部门回答的数量都导入到mysql中。 1.在hive中创建capital_temp表 create table ...
分类：
其他好文 时间：
2020-02-03 15:56:29
阅读次数：
286
使用Sqoop将mysql数据传到hive 系统环境：hadoop2.65，mysql5.7.28，sqoop1.47，hive1.2.2，虚拟机centos7，物理机windows10 注意点：安装sqoop不要将目录设在hadoop下面，否则在运行下面命令时会发生找不到jar包的问题，我估计是系 ...
分类：
其他好文 时间：
2020-02-01 21:20:23
阅读次数：
297
环境 hadoop 2.5.2 sqoop 1.4.7 异常 解决方案： 千万不要信什么 一：sqoop目录下的sqoop-1.4.4.jar拷贝到hadoop的lib目录下解决 二：把sqoop的lib目录下的sqoop的(sqoop-1.4.5.jar或sqoop-1.4.6.jar)包放到ha ...
分类：
Web程序 时间：
2020-01-30 19:20:55
阅读次数：
286
sqoop安装完毕后，还需要一些坑爹的配置，此处瑾纪录下过程以及遇到过的麻烦： 1.下载sqoop并加mysql驱动包 http://mirror.bit.edu.cn/apache/sqoop/,下载，如下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz， 将mysql（ ...
分类：
其他好文 时间：
2020-01-25 20:49:13
阅读次数：
103
执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your H ...
分类：
其他好文 时间：
2020-01-25 16:56:24
阅读次数：
444
