背景
在执行一个较为复杂的SQL聚合的时候,报错了:
【报错】
DB::Exception: Allocator: Cannot mmap 64.00 MiB., errno: 12, strerror: Cannot allocate memory.
可见是内存不够了(CK虽然是分布式存储但是集中计算)
一个办法是修改SQL,比如说用临时表之类的,但是那多麻烦啊。我决定先用swap内存试试。
用swapfile配置交换空间
准备
sudo swapon --show:可以看到当前的交换空间(没显示就代表没有)
free -h:可以看见当前的内存使用情况创建swapfile文件
sudo dd if=/dev/zero of=/swapfile count=4096 bs=1MiB
[root@ch100 ~]# sudo dd if=/dev/zero of=/swapfile count=8192 bs=1MiB
8192+0 records in
8192+0 records out
8589934592 bytes (8.6 GB) copied, 143.337 s, 59.9 MB/s
- 继续
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile
[root@ch100 ~]# sudo swapon /swapfile
[root@ch100 ~]# sudo swapon --show
NAME TYPE SIZE USED PRIO
/swapfile file 8G 0B -2
最后加入fstab(备份一下免得出错)
sudo cp /etc/fstab /etc/fstab.bak
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab然后用free看效果:
[root@ch100 ~]# free -h
total used free shared buff/cache available
Mem: 3.7G 993M 2.6G 5.5M 142M 2.5G
Swap: 8.0G 474M 7.5G
我是跑完了SQL以后查看的,所以used是474 . 不是0。
结果
嗯,SQL正常执行。
还有一点需要指出,虽然CK是分布式存储,但是在执行聚合运算的时候,仍然是在单机上,所以会比较消耗内存。
补充
如果想增加空间,先关闭:
sudo swapoff /swapfile
后续步骤跟之前一样即可。