1 数据导入 1.1 向表中装载数据(Load) 1.语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1, ...
分类:
其他好文 时间:
2020-07-22 20:27:55
阅读次数:
71
引用的jar包(maven) <properties> <java.version>1.8</java.version> <ch.qos.logback.version>1.2.3</ch.qos.logback.version> <sharding-sphere.version>4.1.1</sh ...
分类:
编程语言 时间:
2020-07-21 21:58:23
阅读次数:
74
1.Excel中有些格子的数据是通过公式计算过来的,希望这些计算得到的数据变为固定数据的方法是复制=》选择性粘贴,数值。 2.Excel删除末尾的空白行,数据筛选,如果有空白行存在则在表头筛选的下拉框中就有一项空白存在,然后选择这一项的内容,全部删掉即可。 3.Excel表中的数据导入mysql数据 ...
分类:
其他好文 时间:
2020-07-20 15:36:12
阅读次数:
83
jdk的安装 上传jdk的安装包到linux中 解压、更名 [root@qianfeng01 software]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/ [root@qianfeng01 software]# cd /usr/loca ...
分类:
其他好文 时间:
2020-07-19 17:54:49
阅读次数:
72
1. 环境准备 说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器,具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode、NodeManager、NameNode hadoop02 10.0.0 ...
分类:
其他好文 时间:
2020-07-19 16:31:06
阅读次数:
63
引言都说StringBuilder在处理字符串拼接上效率要强于String,但有时候我们的理解可能会存在一定的偏差。最近我在测试数据导入效率的时候就发现我以前对StringBuilder的部分理解是错误的。后来我通过实践测试+找原理的方式搞清楚了这块的逻辑。现在将过程分享给大家测试用例我们的代码在循环中拼接字符串一般有两种情况第一种就是每次循环将对象中的几个字段拼接成一个新字段,再赋值给对象第二种
分类:
其他好文 时间:
2020-07-19 13:54:37
阅读次数:
81
ElasticSearch之介绍 一 Elasticsearch产生背景 1.1 大规模数据如何检索 如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql、oracle、mongodb、hbase…) 2)如何解决单点故障 ...
分类:
其他好文 时间:
2020-07-18 22:29:18
阅读次数:
436
1、官网下载地址:https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxC ...
分类:
其他好文 时间:
2020-07-17 22:02:27
阅读次数:
140
在使用数据泵进行模式级别导入导出时,导出成功后进行数据导入。出现报错: 可以看到存储过程对象F_NUM编译报错。 那么首先查看无效对象。 SYS@proe>col object_name for a30; SYS@proe>select owner,object_name,object_type,s... ...
分类:
其他好文 时间:
2020-07-17 14:01:30
阅读次数:
279
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类:
其他好文 时间:
2020-07-17 11:26:18
阅读次数:
54