Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
1. 列举出所有的数据库 命令行查看帮助 sqoop help 列出hadoop02主机所有的数据库 sqoop list-databases --connect jdbc:mysql://hadoop02:3306/ --username root --password 123456 查看某一个数 ...
分类：
其他好文 时间：
2021-06-18 19:33:43
阅读次数：
0
Transforms从torch1.7开始新增了该特性，之前transform进行数据增强的方式是如下的，i.e. 使用compose的方式： default_configure = T.Compose([ T.RandomCrop(32, 4), T.RandomHorizontalFlip(), ...
分类：
其他好文 时间：
2021-06-18 19:08:22
阅读次数：
0
InputSplit是block和mapper之间的代理，也即是为mapper提供了一个数据视图。 我们以HDFS的block的大小为128MB举例，当一行日志为130MB（包括行分隔符），这一行数据会被分在两个block中，如果mapper直接读block的话，会读到一个被截断的行日志。这是为什么 ...
分类：
其他好文 时间：
2021-06-18 18:49:59
阅读次数：
0
1. redo log的概念是什么? 为什么会存在. 1. redo log是重做日志。主要用于MySQL异常重启后的一种数据恢复手段，确保了数据的一致性。归根到底是MySQL为了实现WAL机制的一种手段。因为MySQL进行更新操作，为了能够快速响应，所以采用了异步写回磁盘的技术，写入内存后就返回。 ...
分类：
数据库 时间：
2021-06-17 16:30:48
阅读次数：
0
1. 索引是什么？有什么作用？使用索引的优缺点？ 索引是一种用于快速查询和检索数据的数据结构。常见的索引结构有: B 树， B+树和 Hash索引。 优点： 使用索引可以大大加快数据的检索速度。 通过唯一性索引，可以保证数据库表中每一行数据的唯一性。 缺点： 创建索引和维护索引需要耗费很多时间，当对 ...
分类：
数据库 时间：
2021-06-11 18:19:31
阅读次数：
0
Redis 持久化 Redis 提供了一系列不同的持久性选项： RDB（Redis 数据库）：RDB 持久性以指定的时间间隔执行数据集的时间点快照。 AOF（Append Only File）：AOF 持久化记录服务器收到的每个写操作，在服务器启动时会再次播放，重建原始数据集。命令使用与 Redis ...
分类：
其他好文 时间：
2021-06-10 17:56:57
阅读次数：
0
传给后端之前先做下替换处理,后端再split就能获取到每行数据,我这里用的是分号进行分隔: this.content.replace(/\n/g,':') ...
分类：
其他好文 时间：
2021-06-10 17:50:40
阅读次数：
0
一、分区概念 Oracle允许将表、索引、索引组织表细分成更小的片，每个片我们称之为分区。分区有其自己的名字和存储参数。 每行数据只能属于一个分区，分区键决定数据行属于哪个分区。分区键由一个或多个列组成。Oracle自动的将数据的DML操作映射到相应的分区中。 二、分区的优点： a.由于将数据分散到 ...
分类：
数据库 时间：
2021-06-08 22:46:40
阅读次数：
0
一、数据来源 CSV、yaml、xml、db、excel、json 二、本质 读取数据源返回数组，然后利用参数化进行数据与变量的对应 基于schema:List<Class> 纯数据：Array<Array<String,Object>> 三、数据格式 优点 缺点 Excel 生成数据方便 二进制文 ...
分类：
其他好文 时间：
2021-06-07 21:12:07
阅读次数：
0
