实时数据 →文件系统（Linux文件系统、HDFS等） →Hive 导入到hive，Load。（转成相应的hive表，导入后可直接使用HiveSQL查询） hive的内容分两部分：元数据、数据。 其中数据是存在HDFS中，元数据存在mysql中。 Hive数据仓库 Hive/mysql/HDFS关系 ...
分类：
其他好文 时间：
2021-04-26 13:27:01
阅读次数：
0
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 ...
分类：
其他好文 时间：
2021-04-26 13:03:24
阅读次数：
0
不多BB，直接开干！！！ 第一步：进入hive安装目录下面的conf目录，修改hive-site.xml文件 cd /opt/module/hive/conf vim hive-site.xml 第二步：修改如下内容 <property> <name>javax.jdo.option.Connect ...
分类：
其他好文 时间：
2021-04-24 11:50:36
阅读次数：
0
引言 Hive 中的默认分隔符是 ^A (\001) ，这是一种特殊的分隔符，使用的是 ASCII 编码的值，键盘是打不出来的 查看 Hive 默认分隔符文件 Linux 上的文件 以 \001 作为分隔符时，下载后用 notePad++ 打开时看到的 SOH 以 \002 作为分隔符时，下载后用n ...
分类：
其他好文 时间：
2021-04-23 11:54:19
阅读次数：
0
解决办法：apt-get update或者apt-get cleanapt-get update 或者 apt-get update --fix-missing问题解析1 source本身的问题 根据提示，我们首先应当 apt-get update 一下source,如果在apt-get updat ...
分类：
其他好文 时间：
2021-04-19 15:46:10
阅读次数：
0
hive提取字符串中域名的sql方法 需求如下： 想取如下字段里的访问的域名： "GET http://suo.im/4xhnBL HTTP/1.1" "CONNECT sapi.ads.544.com:443 HTTP/1.1" "GET http://100.110.1.52:8080/job/ ...
分类：
数据库 时间：
2021-04-14 12:16:48
阅读次数：
0
qcadoo选择中文之后，产品选项的汉化是失败的。 以及进入产品页面之后 首先在项目中找到产品选项的国际化（汉化）配置文件productFlowThruDivision_cn.properties 文件路径如下： mes\mes-plugins\mes-plugins-product-flow-th ...
分类：
其他好文 时间：
2021-04-14 11:54:57
阅读次数：
0
1. 下载zookeeper https://mirrors.cnnic.cn/apache/zookeeper/ 选择带bin的 2. 解压 3.创建配置文件 cp ${path}/conf/zoo_sample.cfg ${path}/conf/zoo.cfg 4.修改配置文件 zk1配置 # ...
分类：
其他好文 时间：
2021-04-13 12:29:00
阅读次数：
0
HIVE 学习 LATERAL VIEW hive 虚拟表函数 explode split 数据拆分函数 说明 1.Lateral View 用于和UDTF函数【explode,split】结合来使用。 2.首先通过UDTF函数将数据拆分成多行，再将多行结果组合成一个支持别名的虚拟表。 3..主要解 ...
分类：
其他好文 时间：
2021-04-13 11:45:52
阅读次数：
0
1、rocketmq集群特点: NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通 ...
分类：
其他好文 时间：
2021-04-12 12:37:16
阅读次数：
0
