适用于: 是SQL Server (仅限 Linux)没有Azure SQL 数据库没有Azure SQL 数据仓库没有并行数据仓库
本文档介绍如何在 Ubuntu 上创建一个三节点群集并将以前创建的可用性组添加为群集中的资源。 Linux 上的可用性组以实现高可用性,需要三个节点-请参阅可用性组配置的高可用性和数据保护。
Note: 此时,在 Linux 上 SQL Server 与 Pacemaker 的集成不及与在 Windows 上与 WSFC 集成的耦合性高。 从在 SQL 中,没有任何群集存在相关知识,所有业务流程是外部中,服务由 Pacemaker 控制作为独立的实例。 此外,虚拟网络名称特定于 WSFC,Pacemaker 中无相同的等效项。 Always On 动态管理视图查询群集信息返回为空的行。 你仍可创建一个侦听器,以将其用于故障转移后,透明重新连接,但您必须手动注册侦听器名称的 DNS 服务器中创建虚拟 IP 资源 (如以下各节中所述) 所使用的 IP。
以下各部分介绍了设置故障转移群集解决方案的步骤。
路线图
在 Linux 服务器上创建可用性组以获得高可用性的步骤不同于 Windows Server 故障转移群集上的步骤。 以下列表介绍的高级步骤:
-
配置 Pacemaker 之类的群集资源管理器。 本文档中包含这些说明。
配置群集资源管理器的方式取决于特定的 Linux 分发版。
IMPORTANT 生产环境需要 STONITH 之类的隔离代理,以获得高可用性。 本文档中的演示不使用隔离代理。 演示仅用于测试和验证目的。
Linux 群集使用隔离将群集返回到已知状态。 配置隔离的方式取决于分发和环境。 此时,隔离在某些云环境中不可用。 请参阅RHEL 高可用性群集的虚拟化平台的支持策略有关详细信息。
在每个群集节点上安装和配置 Pacemaker
-
在所有节点上打开防火墙端口。 对 Pacemaker 高可用性服务、SQL Server 实例和可用性组终结点打开此端口。 运行 SQL Server 的服务器默认 TCP 端口是 1433。
sudo ufw allow 2224/tcp sudo ufw allow 3121/tcp sudo ufw allow 21064/tcp sudo ufw allow 5405/udp sudo ufw allow 1433/tcp # Replace with TDS endpoint sudo ufw allow 5022/tcp # Replace with DATA_MIRRORING endpoint sudo ufw reload或者,只需禁用防火墙:
sudo ufw disable -
安装 Pacemaker 包。 在所有节点上,运行以下命令:
sudo apt-get install pacemaker pcs fence-agents resource-agents -
为安装 Pacemaker 和 Corosync 包时创建的默认用户设置密码。 在所有节点上使用相同的密码。
sudo passwd hacluster
启用并启动 pcsd 服务和 Pacemaker
以下命令启用并启动 pcsd 服务和 Pacemaker。 在所有节点上运行。 这样,节点将可以在重新启动后重新加入群集。
sudo systemctl enable pcsd
sudo systemctl start pcsd
sudo systemctl enable pacemaker
Note: 启用 pacemaker 命令可能会完成,出现错误 pacemaker 默认启动不包含运行级别,正在中止。 这无关紧要,群集配置可继续进行。
创建群集
-
从所有节点中删除任何现有的群集配置。
运行“sudo apt-get install pcs”将同时安装 pacemaker、corosync 和 pcs,并开始运行这 3 个服务。 启动 corosync 将生成“/etc/cluster/corosync.conf”模板文件。 若要成功完成此文件的下一个步骤,不应存在解决办法是停止 pacemaker / corosync 并删除 / etc/cluster/corosync.conf,然后下一步骤已成功完成。 pcs cluster destroy 执行相同操作,并可以将其用作一个一次性初始群集安装步骤。
以下命令将删除所有现存群集配置文件并停止所有群集服务。 这会永久性销毁群集。 请在预生产环境中将其作为第一个步骤运行。 请注意,“pcs cluster destroy”已禁用 Pacemaker 服务,需重新启用。 在所有节点上运行以下命令。
WARNING 该命令会销毁任何现有的群集资源。
sudo pcs cluster destroy sudo systemctl enable pacemaker -
创建群集。
WARNING 由于的已知问题的调查、 启动群集服务供应商 (pcs cluster start),群集将故障发生以下错误。 这是因为在其中运行群集安装程序命令时创建,这是错误的 /etc/corosync/corosync.conf 中配置日志文件。 若要解决此问题,请更改到的日志文件: /var/log/corosync/corosync.log。 或者可创建 /var/log/cluster/corosync.log 文件。
Job for corosync.service failed because the control process exited with error code. See "systemctl status corosync.service" and "journalctl -xe" for details.
以下命令创建一个三节点群集。 在运行该脚本之前,替换 < ... > 之内的值。 在主节点上运行以下命令。
sudo pcs cluster auth <node1> <node2> <node3> -u hacluster -p <password for hacluster>
sudo pcs cluster setup --name <clusterName> <node1> <node2…> <node3>
sudo pcs cluster start --all
sudo pcs cluster enable --all
NOTE 如果以前已在相同节点上配置了群集,则需要在运行“pcs cluster setup”时使用“--force”选项。 请注意,这相当于运行“pcs cluster destroy”,需要使用“sudo systemctl enable pacemaker”重新启用 pacemaker 服务。
配置隔离 (STONITH)
Pacemaker 群集供应商需要启用 STONITH,并对支持的群集安装程序配置隔离设备。 群集资源管理器无法确定节点或节点上资源的状态时,将使用隔离使群集再次处于已知状态。 资源级别隔离主要确保在因配置资源引起服务中断时,不会发生数据损坏。 例如,可将资源级别隔离用于 DRBD(分布式复制块设备),从而在通信链接出现故障时将节点上的磁盘标记为过时。 节点级别隔离确保节点不会运行任何资源。 重置节点可实现此目的,其 Pacemaker 实现被称为 STONITH (shoot the other node in the head),即关闭其他节点。 Pacemaker 支持多种隔离设备,例如不间断电源或服务器的管理接口卡。 有关详细信息,请参阅Pacemaker 从头开始群集和隔离和 Stonith
由于节点级别隔离配置很大程度取决于你的环境,我们禁用它 (它可以配置在更高版本时) 在本教程。 在主节点上运行以下脚本:
sudo pcs property set stonith-enabled=false
Important: 禁用 STONITH 仅出于测试目的。 如果计划在生产环境中使用 Pacemaker,则应根据环境计划 STONITH 实现,并使其处于启用状态。 请注意,目前不对任何云环境(包括 Azure)或 Hyper-V 提供隔离代理。 因此,群集供应商未提供在这些环境中运行生产群集相关的支持。
设置群集属性群集重新检查间隔
cluster-recheck-interval 指示检查群集资源参数、 约束或其他群集选项中的更改的轮询间隔。 如果副本出现故障,群集将尝试重新启动的时间间隔,由绑定的副本failure-timeout值和cluster-recheck-interval值。 例如,如果failure-timeout设置为 60 秒和cluster-recheck-interval设置为 120 秒,在重新启动尝试的时间间隔大于 60 秒,但不超过 120 秒。 我们建议将故障超时设置为 60 秒和群集重新检查的间隔超过 60 秒的值。 不建议将群集重新检查间隔设置为较小的值。
若要将属性值更新为2 minutes运行:
sudo pcs property set cluster-recheck-interval=2min
Important: 如果已有由 Pacemaker 群集的可用性组资源,请记下的所有分发都使用最新可用 Pacemaker 包 1.1.18-11.el7 都引入开始失败-是的致命群集设置时的行为更改其值为 false。 此更改会影响故障转移工作流。 如果主副本发生服务中断,群集应故障转移到其中一个可用的辅助副本。 相反,用户会注意到该群集会一直尝试启动失败的主副本。 如果该主永远不会处于联机状态 (由于的永久中断),群集永远不会故障转移到另一个可用的辅助副本。 由于此更改,以前推荐的配置来设置开始失败-是的致命将不再有效,需要恢复回其默认值设置
true。 此外,需要更新,以包含 AG 资源failover-timeout属性。若要将属性值更新为
true运行:sudo pcs property set start-failure-is-fatal=true更新现有的可用性组资源属性
failure-timeout到60s运行 (替换ag1可用性组资源的名称):pcs resource update ag1 meta failure-timeout=60s
安装 SQL Server 资源代理以与 Pacemaker 集成
在所有节点上运行以下命令。
sudo apt-get install mssql-server-ha
为 Pacemaker 创建 SQL Server 登录名
-
在所有 SQL Server 上,为 Pacemaker 创建 Server 登录名。 以下 Transact-SQL 创建登录名:
USE [master] GO CREATE LOGIN [pacemakerLogin] with PASSWORD= N'ComplexP@$$w0rd!' ALTER SERVER ROLE [sysadmin] ADD MEMBER [pacemakerLogin]
在创建可用性组时,pacemaker 用户需要 ALTER、 控件和 VIEW DEFINITION 权限的可用性组中,创建它之后,但之前的任何节点添加到其中。
-
在所有 SQL Server 上,保存 SQL Server 登录名的凭据。
echo 'pacemakerLogin' >> ~/pacemaker-passwd echo 'ComplexP@$$w0rd!' >> ~/pacemaker-passwd sudo mv ~/pacemaker-passwd /var/opt/mssql/secrets/passwd sudo chown root:root /var/opt/mssql/secrets/passwd sudo chmod 400 /var/opt/mssql/secrets/passwd # Only readable by root
创建可用性组资源
若要创建可用性组资源,请使用pcs resource create命令并设置资源属性。 以下命令创建ocf:mssql:agmaster/slave 类型的具有名称的可用性组的资源ag1。
sudo pcs resource create ag_cluster ocf:mssql:ag ag_name=ag1 meta failure-timeout=30s --master meta notify=true
Note: 创建资源并在之后定期更新,Pacemaker 资源代理会根据可用性组的配置自动设置可用性组上的
REQUIRED_SYNCHRONIZED_SECONDARIES_TO_COMMIT值。 例如,如果可用性组具有三个同步副本,则代理将REQUIRED_SYNCHRONIZED_SECONDARIES_TO_COMMIT设置为1。 有关详细信息和其他配置选项,请参阅可用性组配置的高可用性和数据保护。
创建虚拟 IP 资源
若要创建虚拟 IP 地址资源,请在一个节点上运行以下命令。 使用网络中的可用静态 IP 地址。 运行该脚本之前,之间的值替换为< ... >具有有效的 IP 地址。
sudo pcs resource create virtualip ocf:heartbeat:IPaddr2 ip=<10.128.16.240>
Pacemaker 中不存在等效的虚拟服务器名称。 若要使用指向字符串服务器名称的连接字符串而不使用 IP 地址,请在 DNS 中注册 IP 资源地址和所需的虚拟服务器名称。 对于 DR 配置,请在主站点和 DR 站点上通过 DNS 服务器注册所需的虚拟服务器名称和 IP 地址。
添加主机托管约束
Pacemaker 群集中几乎所有的决定(例如,选择资源运行的位置)都靠比较分数来制定。 分数按资源计算,群集资源管理器选择特定资源分数最高的节点。 (如果节点的某一资源分数为负,则该资源无法在此节点上运行。)使用约束来配置群集的决策。 约束具有一个分数。 如果约束的分数低于 INFINITY,则仅为建议项。 分数为 INFINITY 意味着它是强制的。 若要确保主副本和虚拟 ip 资源位于同一主机上,定义一个分数为 INFINITY 的主机托管约束。 若要添加主机托管约束,请在一个节点上运行以下命令。
sudo pcs constraint colocation add virtualip ag_cluster-master INFINITY with-rsc-role=Master
添加排序约束
主机托管约束具有隐式排序约束。 在移动可用性组资源前,它将移动虚拟 IP 资源。 默认事件序列为:
-
用户问题
pcs resource move到可用性组主副本从节点 1 到节点 2。 -
虚拟 IP 资源停止 node1 上。
-
节点 2 上启动的虚拟 IP 资源。
NOTE 此时,IP 地址暂时指向节点 2 同时节点 2 仍为故障转移前的辅助。
-
可用性组在 node1 上主副本降级为次要副本。
-
可用性组节点 2 上次要副本升级为主要副本。
若要防止 IP 地址暂时指向具有故障转移前的次要副本的节点,请添加排序约束。
若要添加排序约束,请在一个节点上运行以下命令:
sudo pcs constraint order promote ag_cluster-master then start virtualip
Important: 配置群集并将可用性组添加为群集资源后,无法使用 Transact-SQL 对可用性组资源进行故障转移。 Linux 上的 SQL Server 群集资源与此操作系统的耦合性不及 Windows Server 故障转移群集 (WSFC) 上的高。 SQL Server 服务不知道此群集的存在。 所有业务流程都通过群集管理工具完成。 在 RHEL 或 Ubuntu 中使用
pcs。
<!---## 了解 Pacemaker 的 SQL Server 资源代理
在 CTP 1.4 版本推出之前,可用性组的 Pacemaker 资源代理无法确定某个标记为 SYNCHRONOUS_COMMIT 的副本是否确实是最新的。 该副本有可能已停止与主副本同步,但资源代理并不知道这种情况。 因此,代理可能会将过时的副本升级为主要副本 - 如果升级成功,将导致数据丢失。
SQL Server 2017 CTP 1.4 在 sys.availability_groups 中添加了 sequence_number,从而解决了此问题。 sequence_number 是一个单调递增的 BIGINT,表示本地可用性组副本相对于可用性组中其余副本的新旧程度。 执行故障转移、添加或删除副本和其他可用性组操作会更新此数字。 该数字将在主要副本上更新,然后推送到次要副本。 因此,处于最新状态的次要副本的 sequence_number 与主要副本相同。
当 Pacemaker 决定将某个副本升级为主要副本时,首先会向所有副本发送通知,以提取并存储序列号(我们将其称为预升级通知)。 接下来,当 Pacemaker 实际尝试将某个副本升级为主要副本时,如果该副本的序列号在所有副本的序列号中是最高的,则该副本只会升级自身,并拒绝其他升级操作。 这样,就只有序列号最高的副本才会升级为主副本,确保不会丢失数据。
请注意,仅当至少有一个可用于升级的副本的序列号与以前的主副本相同时,才能保证这种结果。 为确保这一点,默认行为是,Pacemaker 资源代理自动设置 REQUIRED_COPIES_TO_COMMIT,从而使至少一个同步提交次要副本处于最新状态且可用作自动故障转移的目标。 对于每个监视操作,REQUIRED_COPIES_TO_COMMIT 的值按“同步提交副本数/2”的方式进行计算(如果需要,也将进行更新)。 然后,在故障转移时,此资源代理需要一定数量的副本(total number of replicas - required_copies_to_commit 个副本)响应预升级通知,从而能够将其中一个副本升级为主要副本。 sequence_number 最高的副本将升级为主要副本。
例如,假设一个可用性组具有三个同步副本:一个主要副本和两个同步提交次要副本。
-
REQUIRED_COPIES_TO_COMMIT为 3 / 2 = 1 -
响应预升级操作所需的副本数为 3 - 1 = 2。 因此需准备 2 个副本来触发故障转移。 这意味着,主要副本服务中断的情况下,如果其中一个次要副本无响应,仅另一个次要副本响应预升级操作,则资源代理无法确保进行响应的次要副本具有最高的 sequence_number,从而不会触发故障转移。
用户可选择替代默认行为,并不采取上述设置,而将可用性组资源配置为不自动设置 REQUIRED_COPIES_TO_COMMIT。
Important:
REQUIRED_COPIES_TO_COMMIT为 0 时没有数据丢失风险。 在主要副本中断的情况下,资源代理不会自动触发故障转移。 用户必须决定是等待主要副本恢复还是手动执行故障转移。
若要将 REQUIRED_COPIES_TO_COMMIT 设置为 0,请运行:
sudo pcs resource update <**ag_cluster**> required_copies_to_commit=0
(SLES 上)使用 crm 的等效命令为:
sudo crm resource param <**ag_cluster**> set required_synchronized_secondaries_to_commit 0
若要还原为默认计算值,请运行:
sudo pcs resource update <**ag_cluster**> required_copies_to_commit=
Note: 更新资源属性会导致所有副本停止并重新启动。 这意味着主要副本会首先暂时降级为次要副本,然后再次进行升级,从而导致写入操作暂不可用。 REQUIRED_COPIES_TO_COMMIT 的新值仅在副本重新启动后进行设置,因此不会与运行 pcs 命令同时进行。
平衡高可用性和数据保护
上述默认行为也适用于具有 2 个同步副本(主要副本 + 次要副本)的情况。 Pacemaker 默认 REQUIRED_COPIES_TO_COMMIT = 1,从而确保次要副本始终处于最新状态,实现最大程度的数据保护。
Warning: 由于次要副本发生计划内或计划外中断,该操作会增加主要副本不可用的风险。 用户可选择更改资源代理的默认行为,并将
REQUIRED_COPIES_TO_COMMIT替换为 0:
sudo pcs resource update <**ag1**> required_copies_to_commit=0
替换后,资源代理将新设置用于 REQUIRED_COPIES_TO_COMMIT,并对其停止计算。 这意味着用户必须相应进行手动更新(例如,如果副本数增加)。
下表描述了在不同可用性组资源配置中,主要副本或次要副本发生中断时的后果:
可用性组 -2 个同步副本
| 主要副本中断 | 一个次要副本中断 | |
|---|---|---|
REQUIRED_COPIES_TO_COMMIT=0 |
用户需要发出手动故障转移。 可能导致数据丢失。 新的主要副本是 R/W | 主要副本为 R/W,运行可能导致数据丢失 |
REQUIRED_COPIES_TO_COMMIT=1 * |
群集自动发出故障转移 无数据丢失。 在先前的主要副本恢复并加入可用性组作为次要副本之前,新的主要副本将拒绝所有连接。 | 次要副本恢复之前,主要副本将拒绝所有连接。 |
* Pacemaker 的 SQL Server 资源代理默认行为。
可用性组 -3 个同步副本
| 主要副本中断 | 一个次要副本中断 | |
|---|---|---|
REQUIRED_COPIES_TO_COMMIT=0 |
用户需要发出手动故障转移。 可能导致数据丢失。 新的主要副本是 R/W | 主要副本是 R/W |
REQUIRED_COPIES_TO_COMMIT=1 * |
群集自动发出故障转移。 无数据丢失。 新的主要副本是 RW | 主要副本是 R/W |
* Pacemaker 的 SQL Server 资源代理默认行为。--->
后续步骤
历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者(原始作者元数据 MikeRayMSFT)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站展开固定版本仓库内的引用内容,将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。
