1.词频统计 a.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 b.编写map与reduce函数 c.本地测试map和reduce d.将文本数据上传到HDFS上 e.用hadoop streaming提交任务 f.查看运行结果 g.计算结果取回本地 ...
分类：
其他好文 时间：
2020-11-07 16:36:45
阅读次数：
33
1.下载喜欢的电子书或大量文本数据，并保存在本地文件夹中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:32:22
阅读次数：
17
基于MVC的RESTful风格的实现 1.RESTful风格阐述 REST服务是一种ROA(Resource-Oriented Architecture,面向资源的架构)应用。主要特点是方法信息存在于HTTP协议的方法中（GET,POST,PUT,DELETE），作用域存在于URL中。例如，在一个获 ...
1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:17:20
阅读次数：
18
前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
前 数据库管理系统（DBMS）一直以来作为计算机的重要部分，在工业界和学术界都经过了长时间的发展，里面许多的设计技术如scalability、reliability都用到了其它的系统里。 The Life of a Query 数据库管理系统，尤其是关系型数据库管理系统（RDBMS）在当前的绝大多数 ...
分类：
数据库 时间：
2020-11-01 10:06:21
阅读次数：
19
可能是Hadoop hdfs mapreduce最亲民的介绍
分类：
其他好文 时间：
2020-10-30 13:03:28
阅读次数：
17
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
分治思想： 我有一万个元素，查找其中的一个元素，最简单的遍历方法 复杂度为O(4) (遍历四次)，如何实现 准备2500个数组 查找x 补充知识：什么是hash & 什么是hashCode https://blog.csdn.net/weixin_38405253/article/details/9 ...
分类：
其他好文 时间：
2020-10-26 11:13:38
阅读次数：
17
1.本地文件系统创建一个文件，输入带姓名学号信息。 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地 10 ...
分类：
其他好文 时间：
2020-10-26 10:51:52
阅读次数：
18
