检查环境配置
本文列出了在部署 StarRocks 之前需要检查并配置的所有环境和系统配置项。正确设置这些配置项可以确保集群的高可用并提升性能。
端口
StarRocks 为不同的服务使用特定的端口。如果您在这些实例上部署了其他服务,请检查这些端口是否被占用。
FE 端口
在用于 FE 部署的实例上,您需要检查以下端口:
8030:FE HTTP Server 端口(http_port)9020:FE Thrift Server 端口(rpc_port)9030:FE MySQL Server 端口(query_port)9010:FE 内部通讯端口(edit_log_port)6090:FE 云原生元数据服务 RPC 监听端口(cloud_native_meta_port)
在 FE 实例上执行如下命令查看这些端口是否被占用:
netstat -tunlp | grep 8030
netstat -tunlp | grep 9020
netstat -tunlp | grep 9030
netstat -tunlp | grep 9010
netstat -tunlp | grep 6090
如果上述任何端口被占用,您必须在部署 FE 节点时指定可用于替换的端口。详细说明参见 手动部署 StarRocks - 启动 Leader FE 节点。
BE 端口
在用于 BE 部署的实例上,您需要检查以下端口:
9060:BE Thrift Server 端口(be_port)8040:BE HTTP Server 端口(be_http_port)9050:BE 心跳服务端口(heartbeat_service_port)8060:BE bRPC 端口(brpc_port)9070:BE 和 CN 的额外 Agent 服务端口。(starlet_port)
在 BE 实例上执行如下命令查看这些端口是否被占用:
netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
netstat -tunlp | grep 9070
如果上述任何端口被占用,您必须在部署 BE 节点时指定可用于替换的端口。详细说明参见 部署 StarRocks - 启动 BE 服务。
CN 端口
在用于 CN 部署的实例上,您需要检查以下端口:
9060:CN Thrift Server 端口(be_port)8040:CN HTTP Server 端口(be_http_port)9050:CN 心跳服务端口(heartbeat_service_port)8060:CN bRPC 端口(brpc_port)9070:BE 和 CN 的额外 Agent 服务端口。(starlet_port)
在 CN 实例上执行如下命令查看这些端口是否被占用:
netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
netstat -tunlp | grep 9070
如果上述任何端口被占用,您必须在部署 CN 节点时指定可用于替换的端口。详细说明参见 部署 StarRocks - 启动 CN 服务。
主机名
如需为您的 StarRocks 集群 启用 FQDN 访问,您必须为每个实例设置一个主机名。
在每个实例的 /etc/hosts 文件中,您必须指定集群中其他实例的 IP 地址和相应的主机名。
/etc/hosts 文件中的所有 IP 地址都必须是唯一。
JDK 设置
StarRocks 的 Java 组件运行在 JDK 之上。这些 Java 组件包括:
- FE
- BE 和 CN 上的 Java UDF、Connector 和 Java Extensions 功能
在部署前,请先安装您的 StarRocks 版本所要求的 JDK 版本,然后将 JAVA_HOME 指向该 JDK。
各 StarRocks 版本对应的 JDK 版本
最低和推荐的 JDK 版本取决于您的 StarRocks 版本:
| StarRocks 版本 | 最低 JDK | 推荐 JDK |
|---|---|---|
| v2.5、v3.0、v3.1、v3.2 | JDK 8 | JDK 11 |
| v3.3、v3.4 | JDK 11 | JDK 11 |
| v3.5、v4.0、v4.1 | JDK 17 | JDK 17 |
| v4.2 及以后版本 | JDK 17 | JDK 21 |
补充说明:
- 对于 v2.5、v3.0、v3.1 和 v3.2,在 Ubuntu 22.04 上部署需要 JDK 11。
- FE 的编译目标在 v3.5.0 中从 Java 11 提升到 Java 17,因此 v3.5 及以后版本在运行时需要 JDK 17 或更高版本。
- 从 v3.5.0 起,StarRocks 不再为特定 JDK 版本提供各自的 JVM 预设;所有 JDK 版本共用同一份
JAVA_OPTS。当从 v3.4 或更早版本升级到 v3.5 及以后版本时,请移除 fe.conf 中与 JDK 17 不兼容的JAVA_OPTS选项(例如 CMS 相关选项),并使用 v3.5 及以后版本自带的默认JAVA_OPTS。 - 从 v4.2 起,推荐使用 JDK 21。运行时的最低版本仍为 JDK 17(FE 的编译目标为 Java 17);JDK 21 向后兼容 JDK 17 运行时目标。
- 最低 JDK 和推荐 JDK 遵循 Java LTS 日历。下一次变更计划在 2027 年 10 月之后发布的第一个次版本中生效,届时最低 JDK 将变为 JDK 21,推荐 JDK 将变为 JDK 25。详情请参阅版本发布指南。
StarRocks 不支持 JRE。您必须安装完整的 JDK。
设置 JAVA_HOME
StarRocks 依靠环境变量 JAVA_HOME 定位实例上的 Java 依赖项。
运行以下命令查看环境变量 JAVA_HOME:
echo $JAVA_HOME
按照以下步骤设置 JAVA_HOME:
-
在 /etc/profile 文件中设置
JAVA_HOME:sudo vi /etc/profile # 将 <path_to_JDK> 替换为 JDK 的安装路径。 -
使变更生效:
source /etc/profile
运行以下命令验证变更是否成功:
java -version
CPU Scaling Governor
该配置项为可选配置项。如果您的 CPU 不支持 Scaling Governor,则可以跳过该项。
CPU Scaling Governor 用于控制 CPU 能耗模式。如果您的 CPU 支持该配置项,建议您将其设置为 performance 以获得更好的 CPU 性能:
echo 'performance' | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
内存设置
Memory Overcommit
Memory Overcommit 允许操作系统将额外的内存资源分配给进程。建议您启用 Memory Overcommit。
# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
vm.overcommit_memory=1
EOF
# 使修改生效。
sysctl -p
Transparent Huge Pages
Transparent Huge Pages 默认启用。因其会干扰内存分配,进而导致性能下降,建议您禁用此功能。
# 临时变更。
echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/enabled
echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/defrag
# 永久变更。
cat >> /etc/rc.d/rc.local << EOF
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo madvise > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo madvise > /sys/kernel/mm/transparent_hugepage/defrag
fi
EOF
chmod +x /etc/rc.d/rc.local
Swap Space
建议您禁用 Swap Space。
检查并禁用 Swap Space 操作步骤如下:
-
关闭 Swap Space。
swapoff /<path_to_swap_space> swapoff -a -
从 /etc/fstab 文件中删除 Swap Space 信息。
/<path_to_swap_space> swap swap defaults 0 0 -
确认 Swap Space 已关闭。
free -m
Swappiness
Swappiness 会对性能造成影响,因此建议您禁用 Swappiness。
# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
vm.swappiness=0
EOF
# 使修改生效。
sysctl -p
存储设置
建议您根据所选用的存储介质来确定合适的调度算法。
您可以使用以下命令检查您当前使用的调度算法:
cat /sys/block/${disk}/queue/scheduler
# 例如,运行 cat /sys/block/vdb/queue/scheduler
推荐您为 SATA 磁盘使用 mq-deadline 调度算法,为 NVMe 或 SSD 磁盘使用 kyber 调度算法。
SATA
mq-deadline 调度算法适合 SATA 磁盘。
# 临时变更。
echo mq-deadline | sudo tee /sys/block/${disk}/queue/scheduler
# 永久变更。
cat >> /etc/rc.d/rc.local << EOF
echo mq-deadline | sudo tee /sys/block/${disk}/queue/scheduler
EOF
chmod +x /etc/rc.d/rc.local
SSD 和 NVMe
-
如果您的 NVMe 或 SSD 磁盘支持 kyber 调度算法。
# 临时变更。 echo kyber | sudo tee /sys/block/${disk}/queue/scheduler # 永久变更。 cat >> /etc/rc.d/rc.local << EOF echo kyber | sudo tee /sys/block/${disk}/queue/scheduler EOF chmod +x /etc/rc.d/rc.local -
如果您的系统不支持 SSD 和 NVMe 的 kyber 调度算法,建议您使用 none(或 noop)调度算法。
# 临时变更。 echo none | sudo tee /sys/block/vdb/queue/scheduler # 永久变更。 cat >> /etc/rc.d/rc.local << EOF echo none | sudo tee /sys/block/${disk}/queue/scheduler EOF chmod +x /etc/rc.d/rc.local
SELinux
建议您禁用 SELinux。
# 临时变更。
setenforce 0
# 永久变更。
sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
sed -i 's/SELINUXTYPE/#SELINUXTYPE/' /etc/selinux/config
防火墙
如果您启用了防火墙,请为 FE、BE 和 Broker 开启内部端口。
systemctl stop firewalld.service
systemctl disable firewalld.service
LANG 变量
您需要使用以下命令手动检查和配置 LANG 变量:
# 修改配置文件。
echo "export LANG=en_US.UTF8" >> /etc/profile
# 使修改生效。
source /etc/profile
时区
请根据您所在的实际时区设置此项。
以下示例将时区设置为 /Asia/Shanghai。
cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
hwclock
ulimit 设置
如果最大文件描述符和最大用户进程的值设置得过小,StarRocks 运行可能会出现问题。建议您将系统资源上限调大。
cat >> /etc/security/limits.conf << EOF
* soft nproc 65535
* hard nproc 65535
* soft nofile 655350
* hard nofile 655350
* soft stack 8192
* hard stack 8192
* hard memlock unlimited
* soft memlock unlimited
EOF
cat >> /etc/security/limits.d/20-nproc.conf << EOF
* soft nproc 65535
root soft nproc 65535
EOF
将栈的软限制和硬限制均设置为 8192 KiB(8 MiB)。在 glibc/NPTL 下,进程启动时的栈软限制决定新线程的默认栈大小,显式指定线程栈大小的情况除外。将软限制设为 unlimited 时,默认线程栈大小会采用体系架构默认值(x86-64 上为 2 MiB),可能增加栈溢出的风险。详情参见 pthread_create(3)。
文件系统配置
建议您使用 ext4 或 xfs 日志文件系统。您可以运行以下命令来检查挂载类型:
df -Th
网络配置
tcp_abort_on_overflow
如果系统当前因后台进程无法处理的新连接而溢出,则允许系统重置新连接:
# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
net.ipv4.tcp_abort_on_overflow=1
EOF
# 使修改生效。
sysctl -p
somaxconn
设置监听 Socket 队列的最大连接请求数为 1024:
# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
net.core.somaxconn=1024
EOF
# 使修改生效。
sysctl -p
NTP 设置
需要在 StarRocks 集群各节点之间配置时间同步,从而保证事务的线性一致性。您可以使用 pool.ntp.org 提供的互联网时间服务,也可以使用离线环境内置的 NTP 服务。例如,您可以使用云服务提供商提供的 NTP 服务。
-
查看 NTP 时间服务器或 Chrony 服务是否存在。
rpm -qa | grep ntp systemctl status chronyd -
如不存在,运行以下命令安装 NTP 时间服务器。
sudo yum install ntp ntpdate && \ sudo systemctl start ntpd.service && \ sudo systemctl enable ntpd.service -
检查 NTP 服务。
systemctl list-unit-files | grep ntp -
检查 NTP 服务连接和监控状态。
netstat -tunlp | grep ntp -
检查服务是否与 NTP 服务器同步。
ntpstat -
检查网络中的 NTP 服务器。
ntpq -p
高并发配置
如果您的 StarRocks 集群负载并发较高,建议您进行如下配置.
max_map_count
进程可以拥有的 VMA(虚拟内存区域)的数量。将该值调整为 262144:
# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
vm.max_map_count = 262144
EOF
# 使修改生效。
sysctl -p
其他
echo 120000 > /proc/sys/kernel/threads-max
echo 200000 > /proc/sys/kernel/pid_max
本文来自 StarRocks 文档贡献者,按 Apache 2.0 整理版式与相对链接,保留正文与代码。图示请参阅原文。作者与贡献记录。
