码迷,mamicode.com
首页 > 其他好文 > 详细

dremio 学习四 内存以及logs 配置

时间:2021-02-09 11:59:20      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:开发   自动   data-   说明   类型   学习   def   dmi   ref   

dremio 是基于java 开发的,对于jvm 以及系统内存的配置就很重要了

最大内存(推荐配置)

最大内容,可以方便dremio 自动基于节点类型进行heap 以及direct 内存的分配
参数 DREMIO_MAX_MEMORY_SIZE_MB=16384
同时我们可以自己配置heap 以及direct 内存,但是有一些约定

  • 如果都指定了,那么最大的就忽略了
  • 如果一个指定了,dremio 自动基于遗留的内存进行调整

heap 内存

参考DREMIO_MAX_MEMORY_SIZE_MB=16384

direct 内存

 
DREMIO_MAX_DIRECT_MEMORY_SIZE_MB=16384 

说明,注意需要给os 保留至少1-2G内存

默认配置

如果没有设置,dremio 自动进行计算,规则如下

  • 协调节点
    If DREMIO_MAX_MEMORY_SIZE_MB is ≥18 GB, Heap is 16 GB and Direct uses the remaining.
    If DREMIO_MAX_MEMORY_SIZE_MB is <18 GB, Direct is 2 GB and Heap uses the remaining.
  • 执行节点
    If DREMIO_MAX_MEMORY_SIZE_MB is ≥32 GB, Heap is 8 GB and Direct uses the remaining.
    If DREMIO_MAX_MEMORY_SIZE_MB is ≥6 GB, Heap is 4 GB and Direct uses the remaining.
    Otherwise, Heap is 2 GB and Direct uses the remaining
    注意DREMIO_MAX_MEMORY_SIZE_MB内存至少是4G

heap 监控

dremio 自己包含了一个heap 监控,对于heap 超过了阈值的85%会进行查询的kill
对于执行节点dremio 会尝试进行至少释放25%的heap 内存,如果碰到类似的问题,可以尝试
加大heap 内存,重试,增加执行节点,以及减少查询的并行度

log 配置

我们可以基于环境变量进行配合,比如

 
DREMIO_LOG_DIR=/var/log/dremio

参考资料

https://docs.dremio.com/advanced-administration/dremio-env.html
https://docs.dremio.com/deployment/memory-config.html

dremio 学习四 内存以及logs 配置

标签:开发   自动   data-   说明   类型   学习   def   dmi   ref   

原文地址:https://www.cnblogs.com/rongfengliang/p/14388156.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!