前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
ZIP归档可以把一个或多个文件压缩成占用空间更小的单一文件。当你想释放硬盘空间，或者需要通过邮件和《信息》发送多个文件时，ZIP的重要性不言而喻。macOS的《访达》内置了ZIP压缩功能，使用方法非常简单。下面就来看看它的基本用法，以及一些进阶功能。一键压缩文件压缩单个文件或文件夹时，按住Control点按该文件，然后在弹出菜单中选择压缩即可。压缩后的归档文件与原文件同名，但带有.zip后缀。解压
分类：
其他好文 时间：
2020-10-27 11:25:10
阅读次数：
33
DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；
DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；
分类：
其他好文 时间：
2020-10-21 20:51:41
阅读次数：
21
hive 建表语法 内部表： create table fzname (id int,name string,age int,tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 1 2 3 4 5 ...
分类：
其他好文 时间：
2020-10-18 16:40:39
阅读次数：
25
容器技术催生了云原生思潮，云原生生态推动了容器技术发展。整理容器技术近 20 年的发展历史，大致可以将其分为四个历史阶段。
分类：
其他好文 时间：
2020-10-18 16:38:16
阅读次数：
26
先搬个砖： 一：Hive是什么 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。 二：mapreduce的基本流程及阶段可进行的优化操作 （其实有很多不用设置有默认的设置或设置后反而执行时间长，此处做了解，参考设置在下一节） 附上网上的一张老图（虽然老但是很具有代表性， ...
分类：
其他好文 时间：
2020-10-16 11:19:02
阅读次数：
24
一、先说结论： 1、尾随空格不影响字符串的对比查询结果。 2、字符串的LEN（字符数（不含尾随空格））与DATALENGTH（字节数）可能不一样，需要根据实际业务场景选择使用。 二、问题描述： 一个字符串在与它后面加空格（尾随空格）的字符串，对比是否相等时，结果为什么是相等呢？ 三、验证与分析： 先 ...
分类：
数据库 时间：
2020-10-10 17:10:49
阅读次数：
31
在pom.xml文件添加依赖 <!-- spring boot parent节点，引入这个之后，在下面和spring boot相关的就不需要引入版本了; --> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spri ...
分类：
Web程序 时间：
2020-10-09 21:10:00
阅读次数：
35
一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类：
数据库 时间：
2020-10-06 20:52:59
阅读次数：
35
Q1：xpinyin模块打包之后显示找不到指定文件Mandarin.dat description： 见标题 answer： 在Anaconda\Lib\site-packages\xpinyin路径下找到__init__.py 然后在__init__.py中编辑，找到 data_path = os ...
分类：
其他好文 时间：
2020-10-05 22:32:11
阅读次数：
56
