1.词频统计 a.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 b.编写map与reduce函数 c.本地测试map和reduce d.将文本数据上传到HDFS上 e.用hadoop streaming提交任务 f.查看运行结果 g.计算结果取回本地 ...
分类:
其他好文 时间:
2020-11-07 16:36:45
阅读次数:
33
1.下载喜欢的电子书或大量文本数据,并保存在本地文件夹中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类:
其他好文 时间:
2020-11-07 16:32:22
阅读次数:
17
1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类:
其他好文 时间:
2020-11-07 16:17:20
阅读次数:
18
CitrixXenDesktopAgent在Windows7/XP安装了5.6版本的XenDesktop之后,默认增加一个开机弹出窗口“欢迎使用CitrixXenDesktop”如果桌面是Pool(池)/Streaming(pvs推送)类型的,即使勾上了“以后不再显示欢迎界面”的复选框,因为池桌面“关机即还原”的作用,每次用户登录windows7/XP的VDI,仍然会弹出欢迎界面。所以需要在模板w
分类:
其他好文 时间:
2020-11-06 02:22:57
阅读次数:
25
遇到一个需要多if-else判断执行的代码,采用策略模式进行优化原代码:Stringtype=json.getString("type");Stringdata=json.getString("data");if(type.equals("brand")){brandApplication.handler(data);}elseif(ty
分类:
其他好文 时间:
2020-10-19 22:54:42
阅读次数:
24
1 插件原理 Mybatis在四大对象(Executor、ParameterHandler、ResultSetHandler、StatementHandler)创建的过程中,都会有插件进行介入。插件可以利用动态代理机制一层层的包装目标对象,从而实现在目标对象执行目标方法之前进行拦截的效果。 Myba ...
分类:
其他好文 时间:
2020-09-17 23:33:26
阅读次数:
31
别只会一股脑的String -> POJO了,Jackson优雅灵活的树模型你值得拥有
分类:
Web程序 时间:
2020-08-31 13:27:52
阅读次数:
81
概述接口的继承结构如下:下面分析这几个接口的定义。Executor从名字来看,Executor可译为“执行器”,它的作用就是执行任务。该接口只有一个execute方法:publicinterfaceExecutor{//执行给定的任务(Runnable)voidexecute(Runnablecommand);}该方法的作用就是(在将来的某个时间)执行给定的命令,即实现了Runnable接口的对象
分类:
其他好文 时间:
2020-08-31 13:20:18
阅读次数:
48
1.mapReduce 的shuffle 过程 : https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类:
其他好文 时间:
2020-08-13 12:10:50
阅读次数:
53
1.定义 RDD是只读的记录分区的集合,是一种基于工作集的应用抽象 创建RDD的方式有两种: 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上,对于每个Executor都会启动一个BlockManagerSlave,并且管理一部分B ...
分类:
其他好文 时间:
2020-08-08 00:33:32
阅读次数:
73