实时数据 →文件系统（Linux文件系统、HDFS等） →Hive 导入到hive，Load。（转成相应的hive表，导入后可直接使用HiveSQL查询） hive的内容分两部分：元数据、数据。 其中数据是存在HDFS中，元数据存在mysql中。 Hive数据仓库 Hive/mysql/HDFS关系 ...
分类：
其他好文 时间：
2021-04-26 13:27:01
阅读次数：
0
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 ...
分类：
其他好文 时间：
2021-04-26 13:03:24
阅读次数：
0
不多BB，直接开干！！！ 第一步：进入hive安装目录下面的conf目录，修改hive-site.xml文件 cd /opt/module/hive/conf vim hive-site.xml 第二步：修改如下内容 <property> <name>javax.jdo.option.Connect ...
分类：
其他好文 时间：
2021-04-24 11:50:36
阅读次数：
0
引言 Hive 中的默认分隔符是 ^A (\001) ，这是一种特殊的分隔符，使用的是 ASCII 编码的值，键盘是打不出来的 查看 Hive 默认分隔符文件 Linux 上的文件 以 \001 作为分隔符时，下载后用 notePad++ 打开时看到的 SOH 以 \002 作为分隔符时，下载后用n ...
分类：
其他好文 时间：
2021-04-23 11:54:19
阅读次数：
0
导入数据： #1、导入制表符分隔的数据 cat /data/ZDGL/stateAnalysis/dmt_term_stateAnalysisALL202010.txt | clickhouse-client -u default --password 6lYaUiFi --query="INSER ...
分类：
其他好文 时间：
2021-04-22 16:18:59
阅读次数：
0
解决办法：apt-get update或者apt-get cleanapt-get update 或者 apt-get update --fix-missing问题解析1 source本身的问题 根据提示，我们首先应当 apt-get update 一下source,如果在apt-get updat ...
分类：
其他好文 时间：
2021-04-19 15:46:10
阅读次数：
0
hive提取字符串中域名的sql方法 需求如下： 想取如下字段里的访问的域名： "GET http://suo.im/4xhnBL HTTP/1.1" "CONNECT sapi.ads.544.com:443 HTTP/1.1" "GET http://100.110.1.52:8080/job/ ...
分类：
数据库 时间：
2021-04-14 12:16:48
阅读次数：
0
qcadoo选择中文之后，产品选项的汉化是失败的。 以及进入产品页面之后 首先在项目中找到产品选项的国际化（汉化）配置文件productFlowThruDivision_cn.properties 文件路径如下： mes\mes-plugins\mes-plugins-product-flow-th ...
分类：
其他好文 时间：
2021-04-14 11:54:57
阅读次数：
0
HIVE 学习 LATERAL VIEW hive 虚拟表函数 explode split 数据拆分函数 说明 1.Lateral View 用于和UDTF函数【explode,split】结合来使用。 2.首先通过UDTF函数将数据拆分成多行，再将多行结果组合成一个支持别名的虚拟表。 3..主要解 ...
分类：
其他好文 时间：
2021-04-13 11:45:52
阅读次数：
0
sentry缺点： 1、组件只支持hive、hdfs、impala 不支持hbase,stome等 show roles; create role admin_zr; 0: jdbc:hive2://cbp5.chinaoly.com:10000/> grant all on server serv ...
分类：
其他好文 时间：
2021-04-06 14:49:20
阅读次数：
0
