今天在hive数据库当中查询一张表，查询数据为空的值，但是死活就是匹配不到： 查询语句如下： 我直接插寻这个字段是有值的啊，也是为null，为啥就不可以啊。原来真正的问题的源头是从我们使用sqoop导入数据开始的。在sqoop导入数据的时候如果不对null做处理，他会将原来为null的值导入的时候 ...
分类：
数据库 时间：
2018-10-23 14:48:50
阅读次数：
776
出现上述原因是oozie把数据导入hive时，查不了hive元数据。 解决方法： 在hive-site.xml 添加属性： 然后在oozie 添加属性（配置hive路径）： 或在cloudera manager上配置： ...
分类：
数据库 时间：
2018-10-19 14:12:21
阅读次数：
884
CDH是Cloudera公司提供的Hadoop发行版，它在原生开源的Apache Hadoop基础之上，针对特定版本的Hadoop以及Hadoop相关的软件，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试 ...
分类：
其他好文 时间：
2018-10-13 12:56:36
阅读次数：
319
zookeeper负责协调 hbase必须依赖zookeeper flume 日志工具 sqoop 负责 hdfs dbms 数据转换 数据到关系型数据库转换 大数据学习群119599574 hadoop database 是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hado ...
分类：
其他好文 时间：
2018-10-02 17:19:44
阅读次数：
155
今天使用sqoop导入一张表，我去查数据库当中的数据量为650条数据，但是我将数据导入到hive表当中的时候出现了563条数据，这就很奇怪了，我以为是数据错了，然后多导入了几次数据发现还是一样的问题。 然后我去查数据字段ID的值然后发现建了主键的数据怎么可能为空的那。然后我去看数据库当中的数据发现， ...
分类：
其他好文 时间：
2018-09-30 20:07:57
阅读次数：
697
1.错误：Sqoop:Import failed: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf 解决方法1： 将mysql中的数据导入到hive中报错： ERROR tool.ImportTool:Im ...
分类：
数据库 时间：
2018-09-23 11:42:15
阅读次数：
1483
最新2018大数据教程（Linux、hadoop、Hbase）等一键打包百度云下载，本教程包含了大数据课程中的必备内容，包括Linux、Hadoop、Hbase、Sqoop、Zookeeper. 先从Linux开始学起，由浅入深，资料供26G，包含了虚拟机、Linux镜像、学习工具等学习软件，精心整 ...
分类：
系统相关 时间：
2018-09-22 12:46:22
阅读次数：
984
一，sqoop安装 二、命令介绍 三、数据导入 1.数据导入到HDFS 2.数据导入到HIVE 先将数据文件导入到HDFS上，产生一个临时文件 成功后将数据上传到HIVE，成功则删除hdfs上的临时文件 1.导入至HDFS ->临时文件的路径:当前执行sqoop命令的家目录 -> 目录名称：不指定自 ...
分类：
其他好文 时间：
2018-09-18 22:46:03
阅读次数：
170
大数据已经火了很久了，一直想了解它学习它结果没时间，了解了一些资料，结合我自己的情况，整理了一个学习路线，。 学习路线 Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeepe ...
分类：
其他好文 时间：
2018-09-17 13:34:04
阅读次数：
148
Sqoop import job failed to read data from DB2 database which has UTF8 encoding. Essentially, even the data cannot be read at DB2 with select queries a ...
分类：
数据库 时间：
2018-09-14 00:03:40
阅读次数：
581
