`默认` 每一条涉及到被修改的sql都会记录在binlog中。 缺点：日志量过大,如sleep()函数， last_insert_id() ，以及user defined functions(udf)会出现问题 只记录变动的记录，不记录sql的上下文环境。 缺点：如果遇到 updata .... s ...
分类：
数据库 时间：
2020-05-09 19:25:53
阅读次数：
85
原因是hive版本太老，不能识别integer，只能识别int http://mail-archives.apache.org/mod_mbox/hive-dev/201310.mbox/%3CJIRA.12595720.1340551511790.3851.1383257119001@arcas% ...
分类：
其他好文 时间：
2020-05-09 19:25:19
阅读次数：
169
1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT ...
分类：
其他好文 时间：
2020-05-08 18:33:15
阅读次数：
66
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
区分insert into 和 insert overowrite： 0、 命令格式 INSERT OVERWRITE|INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [(col1,col2 ...)] sele ...
分类：
其他好文 时间：
2020-05-07 13:24:09
阅读次数：
74
一，官网下载地址：https://www.oracle.com/index.html 二，点击下载 三，选择Developer Downloads,点击java 四，点击 java(JDK) for Developers 五，如果不是下载最新版本的话，可以拉到最下面，点击：java Archive( ...
分类：
编程语言 时间：
2020-05-06 19:57:10
阅读次数：
589
我的apt-get install wifiphisher出错, 无法定位软件包, 一般是源配置的问题, vi /etc/apt/sources.list文件, 加入以下源(选择一个即可) #中科大deb http://mirrors.ustc.edu.cn/kali kali-rolling ma ...
分类：
其他好文 时间：
2020-05-06 13:45:39
阅读次数：
186
本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当
分类：
其他好文 时间：
2020-05-06 10:30:40
阅读次数：
73
