码迷,mamicode.com
首页 > 其他好文 > 详细

optimization & error -02

时间:2017-10-06 10:38:25      阅读:216      评论:0      收藏:0      [点我收藏+]

标签:shuf   window   strong   nbsp   work   ons   设置   shu   park   

  • shuffle磁盘IO时间长

设置spark.local.dir为多个磁盘,并设置磁盘的IO速度快的磁盘,通过增加IO来优化shuffle性能

  • map|reduce数量大,造成shuffle小文件数目多

spark.shuffle.consolidateFiles为true,来合并shuffle中间文件,此时文件数为reduce tasks数目

  •  collect输出大量结果时速度慢

collect源码中是把所有的结果以一个Array的方式放在内存中,可以直接输出到分布式的文件系统,然后查看文件系统中的内容

  • Worker上的executor执行缓慢

设置spark.speculation=true 把那些持续慢的节点去掉

  • streaming的吞吐量

spark.streaming.concurrentJobs

  • streaming任务延迟、阻塞

job启动interval时间间隔太短了,导致每次job在指定时间无法正常执行完成,换句话说就是创建的windows窗口时间间隔太密集了

optimization & error -02

标签:shuf   window   strong   nbsp   work   ons   设置   shu   park   

原文地址:http://www.cnblogs.com/yumanman/p/7630408.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!