前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
概念：面向过程：分析出解决问题所需要的步骤，然后用函数把这些步骤一步一步实现，使用的时候一个一个依次调用就可以了。面向对象：把构成问题事务分解成各个对象，建立对象的目的不是为了完成一个步骤，而是为了描叙某个事物在整个解决问题的步骤中的行为。性能对比:1.面向对象易维护、易复用、易扩展。因为面向对象有封装、继承、多态性的特性，所以可以设计出低耦合的系统，使系统更加灵活、更加易于维护。但是，面向对象性
分类：
其他好文 时间：
2020-10-30 13:07:17
阅读次数：
21
可能是Hadoop hdfs mapreduce最亲民的介绍
分类：
其他好文 时间：
2020-10-30 13:03:28
阅读次数：
17
1. 前言 为了更好分析ApplicationMater启动过程，本篇博客在前言部分将简要介绍一下yarn中重要的两个基础库：服务库和事件库，然后在此基础上，着重分析ApplicationMater的启动过程。 本文基于Yarn 3.2版本，文章较长，谨慎阅读，若是文中有误欢迎留言指出。 1.1. ...
分类：
移动开发 时间：
2020-10-29 10:47:18
阅读次数：
34
葵花宝典 flume 1. Flume组成，Put事务，Take事务 2. Flume拦截器 3. Flume Channel选择器 4. Flume监控器 5. Flume采集数据会丢失吗?（防止数据丢失的机制） 6. Flume内存 7. FileChannel优化 1. Flume组成，Put ...
分类：
Web程序 时间：
2020-10-29 10:09:33
阅读次数：
36
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
分治思想： 我有一万个元素，查找其中的一个元素，最简单的遍历方法 复杂度为O(4) (遍历四次)，如何实现 准备2500个数组 查找x 补充知识：什么是hash & 什么是hashCode https://blog.csdn.net/weixin_38405253/article/details/9 ...
分类：
其他好文 时间：
2020-10-26 11:13:38
阅读次数：
17
1.本地文件系统创建一个文件，输入带姓名学号信息。 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地 10 ...
分类：
其他好文 时间：
2020-10-26 10:51:52
阅读次数：
18
1、本地文件系统创建一个文件，输入带姓名学号信息。 2、查看新建文件所在目录 3、查看新建文件内容 4、将此文件上传到HDFS文件系统上的用户目录 5、HDFS上查看相应目录 6、HDFS上查看文件内容 7、HDFS上查看文件大小 8、删除本地1步骤创建的文件 9、将HDFS上的文件下载到本地 10 ...
分类：
其他好文 时间：
2020-10-26 10:38:19
阅读次数：
21
