码迷,mamicode.com
首页 > Web开发 > 详细

使用apache livy导致的结果集不一致问题记录

时间:2020-05-09 16:39:29      阅读:91      评论:0      收藏:0      [点我收藏+]

标签:指定   结果   park   sql   题记   session   导致   mic   中文   

spark sql使用自己封装的livy 引擎执行时有丢失数据情况。排查发现livy session页面中的sql有中文乱码。

技术图片

 

 之后在livy 源码中未找到相关序列化指定字符集的代码。回头排查自己的代码

技术图片

 

 修改完毕后重新执行 观察livy session中的sql。

技术图片

 

 果然乱码没了,执行结果集跟spark后台执行一致。

 

使用apache livy导致的结果集不一致问题记录

标签:指定   结果   park   sql   题记   session   导致   mic   中文   

原文地址:https://www.cnblogs.com/songchaolin/p/12858526.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!