码迷,mamicode.com
首页 > Web开发 > 详细

apache beam ElasticSearchIO 遇到异常后job中断执行 自己定制beam IO

时间:2018-12-27 11:16:33      阅读:225      评论:0      收藏:0      [点我收藏+]

标签:pac   pos   provided   style   elastic   报错   出现   com   改名   

可以将 ElasticSearchIO.java 源码拷贝至自己的项目。改名为MyElasticSearchIO.java。自己定制实现。这时编译会遇到auto.value失败。在pom.xml中加入如下依赖:

    <!-- googles -->
    <!-- https://mvnrepository.com/artifact/com.google.auto.value/auto-value -->
<dependency>
    <groupId>com.google.auto.value</groupId>
    <artifactId>auto-value</artifactId>
    <version>1.6.3</version>
    <scope>provided</scope>
</dependency>

    <!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>27.0.1-jre</version>
</dependency>

报错是在flushBatch里面的checkForErrors出现。

apache beam ElasticSearchIO 遇到异常后job中断执行 自己定制beam IO

标签:pac   pos   provided   style   elastic   报错   出现   com   改名   

原文地址:https://www.cnblogs.com/bigben0123/p/10183608.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!