实战篇丨ClickHouse初体验之集群搭建指南（上）
大家好，今天给大家分享LS同学根据亲身经历整理的一篇关于搭建ClickHouse集群的文章。
该篇文章主要讲述ClickHouse之3节点3分片1副本的集群搭建过程，也算是避坑指南，希望对大家有帮助，特别是CK初学者。
准备工作
安装环境
ZooKeeper版本要求
Zookeeper 安装3节点，版本要求在 ZooKeeper 3.4.5 或更高版本.
你可以配置任何现有的 ZooKeeper 集群，系统会使用里面的目录来存取元数据（该目录在创建可复制表时指定）。
如果配置文件中没有设置 ZooKeeper ，则无法创建复制表，并且任何现有的复制表都将变为只读。
在 ClickHouse 中，ZooKeeper 不参与任何实质性的数据传输。ZooKeeper 在 ClickHouse 中主要用在副本表数据的同步(ReplicatedMergeTree引擎)以及分布式表(Distributed)的操作上。
系统要求
ClickHouse可以在任何具有x86_64，AArch64或PowerPC64LE CPU架构的Linux，FreeBSD或Mac OS X上运行。
官方预构建的二进制文件通常针对x86_64进行编译，并利用SSE 4.2指令集，因此，除非另有说明，支持它的CPU使用将成为额外的系统需求。下面是检查当前CPU是否支持SSE 4.2的命令:
安装的3台机器都需要做验证！！！
# grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
输出结果如下
CPU是否支持SSE 4.2验证结果图
磁盘占用情况结果图2、在 /data1 目录下创建个ClickHouse，然后授权给CK。
3台机器都要执行：
cd /data1
mkdir clickhouse
chownd -R clickhouse:clickhouse /data1/clickhouse
版本选择和下载
ClickHouse的版本分类
testing ：测试版本 prestable：预发稳定版 stable：稳定版 lts（长期支持）
我们此处选择stable：22.2.2.1-2 版本，具体细节官网有介绍：https://clickhouse.com/docs/en/faq/operations/production/
下载
rpm下载：
https://packages.clickhouse.com/rpm/stable/
由于我们的机器都是生产环境，所以此处选择了rpm的方式安装，提前把安装包下载好，放到安装包下载目录下 (此处我们的机器已经创建无需考虑)（3台机器都需要）
解压后文件目录
安装
台机器都要执行：
rpm -ivh clickhouse-common-static-22.2.2.1-2.x86_64.rpm
rpm -ivh clickhouse-server-22.2.2.1-2.noarch.rpm
rpm -ivh clickhouse-client-22.2.2.1-2.noarch.rpm
在安装 server 时，会提醒输入密码：此处确保3台机器的密码一致，我们密码设置为 root ，后续在配置时需要用到此处的密码。
配置文件
CK的配置主要为config.xml、user.xml 和 metrika.xml这三个。
配置 config.xml
配置文件的 config.xml更改的点，确保3台机器都要改动，并且改动的参数一致。
<?xml version="1.0"?>
<!-- CH的config是热部署的 -->
<clickhouse>
<!-- 端口配置 -->
<http_port>8123</http_port>
<tcp_port>9000</tcp_port>
<interserver_http_port>9009</interserver_http_port>
<!--取消该注释，开启远程访问--> <listen_host>::</listen_host>
<!-- 指定数据存储路径 -->
<path>/data1/clickhouse/</path>
<tmp_path>/data1/clickhouse/tmp/</tmp_path>
<!--
user_files_path：包含用户文件的目录，在表函数file()中使用。--> <user_files_path>
/data1/clickhouse/user_files/ </user_files_path>
<!--用来存储创建的用户和角色--><access_control_path>/data1/clickhouse/access/</access_control_path><!--包含输入格式文件--><format_schema_path>/data1/clickhouse/format_schemas/<format_schema_path><!-- 远程服务器，分布式表引擎和集群表功能使用的集群的配置 -->
<remote_servers incl="clickhouse_remote_servers" />
<distributed_ddl>
<!-- 在ZooKeeper中与DDL查询队列的路径 -->
<path>/clickhouse/task_queue/ddl</path>
</distributed_ddl>
<!-- zk启动 -->
<zookeeper incl="zookeeper-servers" optional="true" />
<!-- 启动macros,并指定地址 -->
<macros incl="macros" optional="true" />
<!--引入metrika.xml-->
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from></clickhouse>
配置metrika.xml
在 /etc/clickhouse-server/config.d/ 下面vim 一个metrika.xml ,然后复制粘贴下面的配置。配置文件的 metrika.xml更改的点，确保3台机器都要改动，并且改动的参数一致。
<?xml version="1.0"?>
<clickhouse>
<!--新版的clickhouse集群的首个标签必须是clickhouse,而不是yandex --><!-- 集群配置 -->
<clickhouse_remote_servers>
<!-- 集群名称,确保和config.xml中的<remote_servers incl="clickhouse_remote_servers" />
的incl的中的参数一致-->
<perftest_3shards_1replicas>
<shard>
<!-- 建议一个台机器一个节点，避免资源争夺 -->
<!-- 表示是否只将数据写入其中一个副本，默认为false，表示写入所有副本，在复制表的情况下可能会导致重复和不一致，所以这里一定要改为true。-->
<internal_replication>true</internal_replication>
<!-- 副本配置，ch没有主备之分 -->
<replica>
<host>BD-P-GP01</host>
<port>9000</port>
<user>default</user>
<password>root</password>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>BD-P-GP02</host>
<port>9000</port>
<user>default</user>
<password>root</password>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>BD-P-GP03</host>
<port>9000</port>
<user>default</user>
<password>root</password>
</replica>
</shard>
</perftest_3shards_1replicas>
</clickhouse_remote_servers>
<!-- 本节点副本名称replica,配置后能方便后续创建复制表时不用指定zk路径,每台机器的配置不一样,确保和每台机器的host名称一致 -->
<macros>
<shard>01</shard> <replica>BD-P-GP01</replica>
</macros>
<!-- ZK配置 -->
<zookeeper-servers>
<node index="1">
<host>zk1</host>
<port>2181</port>
</node>
<node index="2">
<host>zk2</host>
<port>2181</port>
</node>
<node index="3">
<host>zk3</host>
<port>2181</port>
</node>
</zookeeper-servers>
<!-- 数据压缩算法配置 -->
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
</clickhouse>
配置 user.xml
use.xml此处不做改动。使用ACL语句创建用户和授权，此处应该在机器成功启动后再去创建用户 每个节点都要执行：
create database if not exists tutorial;
CREATE ROLE dba;
GRANT all ON *.* TO dba;
CREATE USER dba_u@'%' IDENTIFIED WITH sha256_password BY '密码';
GRANT dba TO dba_u;
GRANT all ON tutorial.* TO 'dba_u';
启动并验证
启动，使用root用户
systemctl start clickhouse-server
查看状态
systemctl status clickhouse-server
看到success 证明启动成功！
客户端连接
使用ClickHouse的客户端
-m 代表可以输入多行
clickhouse-client --password 'root' -m
然后进入到 ClickHouse 的客户端，使用 sql 语句，查看系统表
select * from system.clusters;
在查看系统表中能够查看到 perftest_3shards_1replicas 这个集群名称，证明安装成功。
复制表和分布式表测试
创建复制表：
CREATE TABLE default.perftest31r_local ON CLUSTER perftest_3shards_1replicas
(
`id` Int32,
`website` String,
`wechat` String,
`FlightDate` Date,
`Year` UInt16
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/perftest31r_local', '{replica}', FlightDate, (Year, FlightDate), 8192)
创建分布式表(在BD-P-GP01实例上)：
CREATE TABLE perftest31r_allAS cluster32r_local ENGINE = Distributed(perftest_3shards_1replicas
, default, cluster32r_local, rand());
插入数据：
INSERT INTO default.perftest31r_all(id,website,wechat,FlightDate,Year)values(1,'https://noah.com/','理财师','2022-11-28',2020);
INSERT INTO default.perftest31r_all(id,website,wechat,FlightDate,Year)values(2,'http://www.baidu.con/','java','2021-11-28',2020);
INSERT INTO default.perftest31r_all(id,website,wechat,FlightDate,Year)values(3,'http://www.xxxxx.cn/','xxxxx','2022-11-28',2020);
查看分布式表和本地表：
select count(*) from default.perftest31r_all; ---3
select count(*) from default.cluster32r_local; ---1 这个数据不固定总结
以上就是LS同学上周搭建CK集群的经历总结，如果大家在实际搭建过程中遇到问题，可以文末留言或加我微信交流。
文章来源：微信公众号【志明】
实战篇丨ClickHouse初体验之集群搭建指南（上）
本文2024-09-16 17:30:24发表“云星空知识”栏目。
本文链接：https://wenku.my7c.com/article/kingdee-k3cloud-16154.html
