1.环境准备
1.1.SSE4.2验证
验证是否支持SSE 4.2指令集,因为向量化执行需要用到这项特性
# grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
> SSE 4.2 supported
如果不支持SSE指令集，则不能直接使用先前下载的预编译安装包，需要通过源
码编译特定的版本进行安装
ps:如果宿主机支持,那么看这篇文章关于虚拟化中cpu的指令集SSE 4.2的不支持,实在不行,那么换机器吧
1.2.docker安装
-
https://hub.docker.com/搜索clickhouse - 拉取镜像
docker pull clickhouse/clickhouse-server - 启动容器
docker run -d -v /etc/hosts:/etc/hosts:ro -v /etc/localtime:/etc/localtime:ro -v $(realpath ./ch_data):/var/lib/clickhouse/ -v $(realpath ./ch_logs):/var/log/clickhouse-server/ -p 18123:8123 -p19000:9000 --name some-clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server
-v /etc/localtime:/etc/localtime:ro挂载宿主机时区,ro为只读,防止容器更改
-v /etc/hosts:/etc/hosts:ro挂载宿主机的路由表,方便后续配置集群使用
ClickHouse存储数据的主文件夹$(realpath ./ch_data) 当前文件夹下的ch_data文件夹
日志$(realpath ./ch_logs)当前文件下的ch_log文件夹
clickhouse-client 端口映射外部19000
http端口映射外部18123
容器名称some-clickhouse-server
1.3.配置修改
复制容器中的配置
users.xmlconfig.xml
容器查看命令docker ps -a
sudo docker cp [容器id] /etc/clickhouse-server/users.xml /存放目录/users.xml
sudo docker cp [容器id] /etc/clickhouse-server/config.xml.xml /存放目录/config.xml
1.3.1.users.xml配置修改默认密码
生成
sha256_hex方式echo -n root,.123 | openssl dgst -sha256
<users>
<!-- 默认账号 ,账号名-->
<default>
<!--密码-->
<!--
<password>root,.123</password>
-->
<!--加密密码-->
<password_sha256_hex>a14c4c9d228e0cc32814050fea0f1df49dad0e1857615f5c7900bcb8d33b55a1</password_sha256_hex>
<!--用户可以从中连接到ClickHouse服务器的网络列表-->
<networks>
<ip>::/0</ip>
</networks>
<!--可以配读写,只读,写等 不一一列举,自行查阅-->
<profile>default</profile>
<!--限制用户使用资源,自行查阅-->
<quota>default</quota>
<!--(超级权限)用户可以创建其他用户，并赋予其他用户权限 ,0关闭,1开启-->
<access_management>1</access_management>
</default>
</users>
1.3.2. 挂载users.xml
加入挂载文件
-v [修改过后的users.xml路径]:/etc/clickhouse-server/users.xml
1.3.3. config.xml配置集群(3分片1副本)
- 新建一个文件
vi metrika.xml,内容如下,这里replica中的host也就是我们/etc/hosts表中的信息,已经挂载到容器内了zookeeper使用的是现成的- 我这里拉下来的clickhouse镜像版本为
21.12.3.32,其中config.xml文件中有测试分片的配置,找到<remote_servers>标签,删掉标签以及子标签信息,或者注释掉,又或者备份一个作为单机配置使用
4.这里clickhouse的port为19000,由docker容器化映射的外部端口
5.注意replica中的password不能使用加密密码,只能使用明文,原网站部署Smartbi MPP分布式集群
<yandex>
<clickhouse_remote_servers>
<!-- 自定义的集群名称 -->
<ck_cluster>
<!-- 分片信息 -->
<shard>
<weight>1</weight>
<!-- 分布式表写入数据是否只写入到一个副本，配合复制表引擎使用，默认false -->
<internal_replication>true</internal_replication>
<!-- 分片副本信息，这里指定的用户名密码只能是明文，如果需要密文密码需要将配置指向users.xml中的profile中 -->
<replica>
<host>node95</host>
<port>19000</port>
<user>default</user>
<!--不能使用加密密码-->
<password>root,.123</password>
</replica>
</shard>
<shard>
<weight>1</weight>
<internal_replication>true</internal_replication>
<replica>
<host>node94</host>
<port>19000</port>
<user>default</user>
<password>root,.123</password>
</replica>
</shard>
<shard>
<weight>1</weight>
<internal_replication>true</internal_replication>
<replica>
<host>node93</host>
<port>19000</port>
<user>default</user>
<password>root,.123</password>
</replica>
</shard>
</ck_cluster>
</clickhouse_remote_servers>
<!-- Replicated*MergeTree会用到zk -->
<zookeeper-servers>
<node index="1">
<host>node95</host>
<port>2181</port>
</node>
<node index="2">
<host>node94</host>
<port>2181</port>
</node>
<node index="3">
<host>node93</host>
<port>2181</port>
</node>
</zookeeper-servers>
<!-- Replicated*MergeTree建表语句的参数，指定zk的存储目录用 -->
<macros>
<!--集群名称-->
<layer>ck_cluster</layer>
<!--分片-->
<shard>shard01</shard>
<!--副本-->
<replica>replica01</replica>
</macros>
<!-- 监听网络-->
<networks>
<ip>::/0</ip>
</networks>
<!-- 数据压缩算法 -->
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
</yandex>
config.xml文件需要修改,添加如下信息
1.1. 添加信息
<include_from>/etc/clickhouse-server/metrika.xml</include_from>指定我们刚才新建metrika.xml文件路径,这个路径是容器内的路径,到时候需要挂载到容器中
<remote_servers incl="clickhouse_remote_servers" optional="true" />
<zookeeper incl="zookeeper-servers" optional="true" />
1.2.网络
查找到<listen_host>标签（注释里）
如果集群ipv4和ipv6地址都支持，将：
<listen_host>::</listen_host> 取消注释
如果集群支持ipv4和不支持ipv6，将：
<listen_host>0.0.0.0</listen_host> 取消注释
下面这种方式我没有成功，应该是我的服务器没有设置支持ipv6
<listen_host>::1</listen_host>
<listen_host>127.0.0.1</listen_host>
1.3.遗漏点
之前没有配置clickhouse中的时区,文件中的<timezone>内容修改为<timezone>Asia/Shanghai</timezone>
1.3.4.重构容器
先停止之前的容器
docker stop [容器id]
再删除容器docker rm [容器id]
启动容器,命令如下:
docker run -d -v /etc/hosts:/etc/hosts:ro -v /etc/localtime:/etc/localtime:ro -v /home/bigdata/clickhouse_docker/metrika.xml:/etc/clickhouse-server/metrika.xml -v /home/bigdata/clickhouse_docker/users.xml:/etc/clickhouse-server/users.xml -v /home/bigdata/clickhouse_docker/config.xml:/etc/clickhouse-server/config.xml -v /home/bigdata/clickhouse_docker/ch_data:/var/lib/clickhouse/ -v /home/bigdata/clickhouse_docker/ch_log:/var/log/clickhouse-server/ -p 18123:8123 -p19000:9000 --name some-clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server
1.额外挂载了metrika.xmlconfig.xmluser.xml
2.其他的2个节点分别按照以上1.3.3~1.3.4的方式操作
3.补充一个传输的命令scp -r /home/bigdata/clickhouse_docker 用户名@主机:/home/bigdata/clickhouse_docker
4.docker镜像操作保存镜像到本地 docker save -o 保存的名字.tar 镜像REPOSITORY 镜像TAG
如docker save -o clickhouse.tar clickhouse/clickhouse-server latest
加载本地tar到镜像 docker load -i tar包名
如docker load -i clickhouse.tar
1.4集群验证
登录clickhouse,执行sql
SELECT * FROM system.clusters会看到以下信息
集群情况查看
1.5分片测试
- 在3个节点都执行以下sql,其中
ck_cluster为我们的集群名称,这点注意
--本地表
create table person_local (ID Int8, Name String, BirthDate Date) ENGINE = MergeTree(BirthDate, (Name, BirthDate), 8192);
--分布表（Distributed）本身不存储数据，相当于路由，需要指定集群名、数据库名、数据表名、分片KEY.
这里分片用rand()函数，表示随机分片。
create table person_all as person_local ENGINE = Distributed(ck_cluster, default, person_local, rand());
补充:
查询分布表，会根据集群配置信息，路由到具体的数据表，再把结果进行合并。
person_local 为本地表，数据只是在本地
person_all 为分布式表，查询这个表，引擎自动把整个集群数据计算后返回
-
执行完毕,结构是这样的
分片测试表 - 数据插入sql
insert into person_all (*) values ('1','a','2021-10-01');
insert into person_all (*) values ('2','b','2021-10-01');
insert into person_all (*) values ('3','c','2021-10-01');
insert into person_all (*) values ('4','d','2021-10-01');
insert into person_all (*) values ('5','e','2021-10-01');
insert into person_all (*) values ('6','f','2021-10-01');
insert into person_all (*) values ('7','g','2021-10-01');
insert into person_all (*) values ('8','h','2021-10-01');
insert into person_all (*) values ('9','i','2021-10-01');
insert into person_all (*) values ('10','j','2021-10-01');
insert into person_all (*) values ('11','k','2021-10-01');
insert into person_all (*) values ('12','l','2021-10-01');
- 数据查询验证,结果如下
select * from person_all;
select * from person_local;
- 可以发现数据分片到了三台机器的本地表。
感谢
Clickhouse分布式集群搭建
ClickHouse集群安装部署流程（踩坑解决）
clickhouse分布式三分片一副本部署
