码迷,mamicode.com
首页 > 其他好文 > 详细

ClickHouse 系列报错

时间:2020-01-06 19:37:45      阅读:598      评论:0      收藏:0      [点我收藏+]

标签:-o   大小   http   查询   group by   external   locate   image   默认   

1. ClickHouse 查询时,报错:Memory limit (for query) exceeded: would use 9.38 GiB (attempt to allocate chunk of 135439453 bytes), maximum: 9.31 GiB

1.1 ClickHouse 环境

技术图片

1.2 报错原因

默认情况下,ClickHouse会限制group by使用的内存量(它使用 hash table来处理group by)。这很容易解决 - 如果你有空闲的内存,增加这个参数

1.3 解决方法

1. 内存足够情况下
SET max_memory_usage = 128000000000; #128G
2. 内存不足情况下

GROUP BY中允许将临时数据转存到磁盘上,以限制对内存的使用

set max_bytes_before_external_group_by=20000000000; #20G,默认值为0,表示在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。

# 使用max_bytes_before_external_group_by时,建议将max_memory_usage设置为它的两倍。这是因为一个聚合需要两个阶段来完成:
#(1)读取数据并形成中间数据 
#(2)合并中间数据。临时数据的转存只会发生在第一个阶段。
# 如果没有发生临时文件的转存,那么阶段二将最多消耗与1阶段相同的内存大小。
set max_memory_usage=40000000000; #40G

参考:https://clickhouse.yandex/docs/zh/query_language/select/

ClickHouse 系列报错

标签:-o   大小   http   查询   group by   external   locate   image   默认   

原文地址:https://www.cnblogs.com/wuning/p/12156915.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!