1. 列举出所有的数据库 命令行查看帮助 sqoop help 列出hadoop02主机所有的数据库 sqoop list-databases --connect jdbc:mysql://hadoop02:3306/ --username root --password 123456 查看某一个数 ...
分类：
其他好文 时间：
2021-06-18 19:33:43
阅读次数：
0
一、数据预处理 1.1、在hdfs上新建目录 java程序启动前先在hdfs上建立相应文件夹，用于上传本地数据和处理后的数据 [root@hadoop102 ~]# hdfs dfs -mkdir -p /USAdatas/geodatas/inputs [root@hadoop102 ~]# hd ...
分类：
数据库 时间：
2021-06-18 19:17:01
阅读次数：
0
原文链接： https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/ 1、什么是数据本地化 数据本地化（Data locality）是指将计算移动到数据所在的节点，而不是移动数据移动到计算所在的节点。在Hadoop中，一 ...
分类：
其他好文 时间：
2021-06-18 19:09:26
阅读次数：
0
要使用此导出命令需要有相关的权限： 该变量用于限制数据导入导出操作的效果，例如LOAD DATAand SELECT ... INTO OUTFILE语句和 LOAD_FILE()函数执行的操作 。这些操作只允许有FILE权限的用户使用 。 secure_file_priv 可以设置如下： 1.如果 ...
分类：
数据库 时间：
2021-06-18 18:51:04
阅读次数：
0
InputSplit是block和mapper之间的代理，也即是为mapper提供了一个数据视图。 我们以HDFS的block的大小为128MB举例，当一行日志为130MB（包括行分隔符），这一行数据会被分在两个block中，如果mapper直接读block的话，会读到一个被截断的行日志。这是为什么 ...
分类：
其他好文 时间：
2021-06-18 18:49:59
阅读次数：
0
案例四：封装共有操作 封装一个数据库的会话的类 点击查看详细代码 import java.sql.*; public class ConnectionUtil { /** * 获取连接对象的方法，返回一个Connection * 方法体中是共有操作：加载驱动，建立连接 */ public stati ...
分类：
数据库 时间：
2021-06-17 17:10:30
阅读次数：
0
查看是否区分大小写 show Variables like '%table_names' 查看lower_case_table_names的值，0代表区分，1代表不区分 修改方法 1.用ROOT登录，修改/etc/my.cnf 2.在[mysqld]下加入一行：lower_case_table_na ...
分类：
数据库 时间：
2021-06-17 17:06:18
阅读次数：
0
1、批量插入 ServiceImpl层 List<Person> addPeople = new ArrayList<>(); //addPeople存放多个Person对象 personMapper.insetPeopleReturnIds(addPeople); Dao层接口（这里的注解para ...
分类：
数据库 时间：
2021-06-17 17:02:57
阅读次数：
0
[数据库]MySQL基础知识 参考： MariaDB / MySQL数据类型-阿里云开发者社区 (aliyun.com) MariaDB 教程_w3cschool MySQL 教程 | 菜鸟教程 (runoob.com) MariaDB Server Documentation - MariaDB ...
分类：
数据库 时间：
2021-06-17 16:43:50
阅读次数：
0
1. redo log的概念是什么? 为什么会存在. 1. redo log是重做日志。主要用于MySQL异常重启后的一种数据恢复手段，确保了数据的一致性。归根到底是MySQL为了实现WAL机制的一种手段。因为MySQL进行更新操作，为了能够快速响应，所以采用了异步写回磁盘的技术，写入内存后就返回。 ...
分类：
数据库 时间：
2021-06-17 16:30:48
阅读次数：
0
