概念： 流：代表任何有能力产出数据的数据源对象或者是有能力接受数据的接收端对象<Thinking in Java>，换句话说：是对输入或输出设备（文件，网络，内存）的抽象。 流的本质: 数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。 Stream 使用一种类似用 SQL 语句 ...
分类：
编程语言 时间：
2020-11-01 22:23:54
阅读次数：
34
1.exif文件 和浏览jpeg格式的文件方法相同 可以右键打开属性，查看exif或详细信息，在相关选项卡查找flag信息 2.Stegsolve(必须拥有) 只有一张图片时，可以通过切换通道查找隐藏的二维码或者其他信息 有两张相似图片时，可以通过analyse=>Image combiner来进行 ...
分类：
其他好文 时间：
2020-08-20 19:17:20
阅读次数：
79
Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，才会运行 Combiner和Reducer的区别在于运行的位置： map sort copy sort(shuf ...
分类：
其他好文 时间：
2020-07-30 01:32:34
阅读次数：
65
7 Combiner合并 （6）自定义Combiner实现步骤 （a）自定义一个Combiner继承Reducer，重写Reduce方法 public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritabl ...
分类：
其他好文 时间：
2020-07-19 23:19:55
阅读次数：
69
Stream API为我们提供了Stream.reduce用来实现集合元素的归约。reduce函数有三个参数： Identity标识：一个元素，它是归约操作的初始值，如果流为空，则为默认结果。 Accumulator累加器：具有两个参数的函数：归约运算的部分结果和流的下一个元素。 Combiner合 ...
分类：
编程语言 时间：
2020-07-01 09:26:36
阅读次数：
60
Java8新增了Stream，IntStream，LongStream，DoubleStream等流式API，这些API代表多个支持串行和并行聚集操作的元素。Stream是一个通用的流接口，而IntStream,LongStream,DoubleStream则代表元素类型为int,long,doub ...
分类：
编程语言 时间：
2020-05-23 16:40:03
阅读次数：
43
上一篇：react、react-router、redux 也许是最佳小实践1 加入 redux React 在组件之间流通数据.更确切的说，这被叫做“单向数据流”——数据沿着一个方向从父组件流到子组件。由于这个特性，对于没有父子关系的两个组件之间的数据交流就变得不是那么显而易见。这里 Redux 就 ...
分类：
其他好文 时间：
2020-05-14 13:16:11
阅读次数：
57
概述Combinar继承了`Reducer`, 可选过程, 在map端的实现分组(是在map端运行的reduce), 减小网络IO传输; 使用Combiner需要满足的条件Combiner不能影响最终计算结果例如求平均值就不能使用Combiner输出k-v类型必须与map输出一致自定义过程1. 继承... ...
分类：
其他好文 时间：
2020-04-19 13:09:31
阅读次数：
92
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
[Toc] 一、MapReduce基本常识 二、MapReduce要点 1、combiner的组件需要注意什么？ 因为combiner在MapReduce过程中可能调用也可能不调用，可能调用一次也可能调用多次，无法确定和控制。 所以，combiner的使用原则是：有或没有都不能影响业务逻辑，是不是用 ...
分类：
其他好文 时间：
2020-02-01 16:01:53
阅读次数：
95
