[Spark]-结构化流之输出篇

标签：保存   sink   位置   each   nbsp   size   stream   落地   trunc   

5.结构化流的输出

 　一旦定义好了streaming DataFrame/Dataset的最终结果,剩下的就是一些计算输出了.为此,必须使用 DataStreamWriter通过 Dataset.writeStream() 返回.此时必须以下一个或多个

　　　输出落地 的详细信息:  Data format, location 等等

　　　输出模式(Output mode)

　　　查询名称(Query name)  可选，指定用于标识的查询的唯一名称

　　　触发器间隔(Trigger interval):可选地,指定触发间隔。如果没有指定,系统将检查尽快获得新数据前处理完成。如果一个触发时间错过了,因为前面的处理还没有完成,则系统将触发立即处理

　　　检查点位置(Checkpoint location) 对于可以保证 end-to-end fault-tolerance （端对端容错）能力的某些 output sinks ，请指定系统将写入所有 checkpoint （检查点）信息的位置。

　　　　　　　　　　　　　　　　　　 这应该是与 HDFS 兼容的容错文件系统中的目录.

　　5.1 输出模式

　　　　追加(append)(默认) 这是默认的模式.在上次触发后,只有新行添加到结果表(result-table)才会触发。

　　　　　　　　　　　　　这是只支持那些查询,行添加到结果表永远不会改变,因为这种模式保证每一行将只输出一次。例如,只有选择查询,地图,flatMap,过滤,加入等将支持附加模式

　　　　完全(complete) 每次触发时都会将整个结果表(result-table)输出.例如聚合结果等

　　　　更新(update) 只有结果表在上次被触发后被更新才会触发

　　　　不同的查询支持不同的输出模式,具体见下:

　　5.2 输出落地

　　　　  5.2.1 落地文件

　　　　5.2.2 落地Kafka

　　　　5.2.3 落地控制台(debug使用)

　　　　5.2.4 落地Memory接收器(debug使用)

　　　　5.2.5 foreach

　　　　　　 foreach落地,是用户自定义输出的一种方式.foreach需要用户实现 ForeachWriter 类.实际处理取决于用户如何实现.(foreach只能使用在Scala/Java中)

　　　　　　它将在触发器(trigger)之后生成结果行时调用一个用户实现.

　　　　　　注意: foreach的实现载体是多个executor中的某一个

　　　　　　5.2.5.1 实现

　　　　　　　　open: writer 初始化时执行(例如打开连接,开启事务等).它具有两个入参: version=>每个触发器单调递增的ID  partitionId =>分区ID.


　　　　　　　　　　　open将返回一个布尔值.当为false时,后续将不会产生任何调用.用户可以根据自己的逻辑,用这个返回值指出本次输出后续是否还有必要执行

　　　　　　　　proccess:根据open的返回值决定是否需要执行.

　　　　　　　　close:无论open返回什么值,close必然会执行.这里适合用户做一些资源回收操作

　　　　5.2.6 输出落地可以承载的输出模式

[Spark]-结构化流之输出篇

标签：保存   sink   位置   each   nbsp   size   stream   落地   trunc   

原文地址：https://www.cnblogs.com/NightPxy/p/9278881.html