码迷,mamicode.com
首页 > 其他好文 > 详细

ide-dtwave指南(数栖平台)

时间:2018-11-02 13:01:42      阅读:1315      评论:0      收藏:0      [点我收藏+]

标签:任务   date   指南   null   调度   逻辑   建议   ring   时间格式   

hive建表字段的时间格式建议使用timestamp或string,date类型会出现异常,比如load文件时时间会变为null

 

sparksql才支持load数据到hive表中,hive2竟然不支持?

 

补数据有自依赖,多天时可以等前一天运行完再运行后一天,但是补下游不行,会导致多天并行,原因是补下游会有多个任务,无法判断这个操作是补下游导致的还是周期调度导致的,因为实例化后,在周期调度中,是不会判断前一天的状态的,总不能前一天有任务失败,后一天就不调度运行了吧,但是这在补数据中是需要这个逻辑的。

ide-dtwave指南(数栖平台)

标签:任务   date   指南   null   调度   逻辑   建议   ring   时间格式   

原文地址:https://www.cnblogs.com/1023linlin/p/9895454.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!