大网数据广告活动
数据库与应用安全

如何部署 SQL Server 大数据群集在 Kubernetes 上

· 52CE 我爱测

了解如何将部署在 Kubernetes 上的 SQL Server 2019 大数据群集 (预览版)。

SQL Server 大数据群集可部署为 docker 容器的 Kubernetes 群集上。 这是安装和配置步骤概述:

  • 设置单个 VM 的 Vm,或在 Azure Kubernetes 服务 (AKS) 群集上的 Kubernetes 群集。
  • 安装群集配置工具mssqlctl在客户端计算机上。
  • 部署 Kubernetes 群集中的 SQL Server 大数据群集。

Note: SQL Server 大数据群集将为通过 SQL Server 2019 早期采用计划的有限公共预览版发布。 若要请求访问权限,注册此处,并指定你感兴趣,若要试用 SQL Server 大数据群集。 Microsoft 将会审的所有请求,并尽可能快地做出响应。

Kubernetes 群集的先决条件

SQL Server 大数据群集需要最小 v1.10 版本适用于 Kubernetes、 服务器和客户端。 若要安装 kubectl 客户端上的特定版本,请参阅安装 kubectl 二进制通过 curl。 Minikube 和 AKS 的最新版本是至少 1.10。 适用于 AKS,您将需要使用--kubernetes-version参数来指定默认值以外的版本。

Note: 请注意,客户端和服务器的 Kubernetes 版本应 + 1 或-1 的次要版本。 有关详细信息,请参阅Kubernetes 支持的版本和组件倾斜。

Kubernetes 群集设置

如果已有的 Kubernetes 群集,满足上述先决条件,则您可以直接跳到部署步骤。 本部分假定基本了解 Kubernetes 概念。 有关 Kubernetes 的详细信息,请参阅Kubernetes 文档。

您可以选择部署在三种方式中的 Kubernetes:

部署 Kubernetes 上: Description
Minikube 在 VM 中的单节点 Kubernetes 群集。
Azure Kubernetes 服务 (AKS) Azure 中的托管的 Kubernetes 容器服务。
多台计算机 物理计算机或使用虚拟机上部署的 Kubernetes 群集kubeadm

配置其中一个 SQL Server 大数据群集的 Kubernetes 群集选项的指导,请参阅以下文章之一:

Tip: 部署 AKS 和 SQL Server 大数据群集的示例 python 脚本,请参阅部署大数据群集在 Azure Kubernetes 服务 (AKS) SQL Server。

部署 SQL Server 大数据群集

配置在 Kubernetes 群集后,你可以继续进行 SQL Server 大数据群集的部署。

Note: 如果要从以前的版本进行升级,请参阅升级部分中的。

若要部署的开发/测试环境的所有默认配置与 Azure 中的大数据群集,请按照本文中的说明操作:

快速入门: 将 SQL Server 大数据群集在 Kubernetes 上部署

如果你想要自定义大数据群集配置,根据工作负荷需求,请按照下一组说明进行操作。

验证 kubernetes 配置

运行kubectl命令以查看群集配置。 请确保该 kubectl 指向正确的群集上下文。

kubectl config view

安装 mssqlctl

mssqlctl是启用群集管理员若要启动和管理大数据群集通过 REST Api 以 Python 编写的命令行实用程序。 所需的最小的 Python 版本是 3.5 版。 您还必须拥有pip用于下载并安装mssqlctl工具。

Important: 如果您安装了以前的版本,则必须删除群集之前升级mssqlctl和安装新版本。 有关详细信息,请参阅升级到新的发行版。

Windows mssqlctl 安装

  1. Windows 客户端上下载必需的 Python 包从 https://www.python.org/downloads/ 。 Python3.5.3 和更高版本,pip3 也会安装时安装 Python。

    TIP 在安装时 Python3,选择将 Python 添加到你的路径。 如果不这样做,可以更高版本查找 pip3 所在的位置,并手动将其添加到你的路径。

  2. 请确保具有最新请求包。

    python -m pip install requests
    python -m pip install requests --upgrade
    
  3. 安装mssqlctl使用以下命令:

    pip3 install --extra-index-url https://private-repo.microsoft.com/python/ctp-2.1 mssqlctl
    

Linux mssqlctl 安装

在 Linux 上,必须安装python3并python3-pip打包,然后运行sudo pip3 install --upgrade pip。 这会安装最新的 3.5 版本的 Python 和 pip。 下面的示例演示如何将这些命令适用于 Ubuntu (如果你正在使用另一个平台,修改命令的程序包管理器):

  1. 安装所需的 Python 包:

    sudo apt-get update && /
    sudo apt-get install -y python3 && /
    sudo apt-get install -y python3-pip && /
    sudo -H pip3 install --upgrade pip
    
  2. 安装mssqlctl使用以下命令:

    pip3 install --extra-index-url https://private-repo.microsoft.com/python/ctp-2.1 mssqlctl
    

定义环境变量

可以使用一组环境变量传递给自定义群集配置mssqlctl create cluster命令。 环境变量的大部分都是可选的 with 根据下面的默认值。 请注意,环境变量,例如需要用户输入的凭据。

环境变量 Required 默认值 Description
ACCEPT_EULA 用户帐户控制 N/A 接受 SQL Server 许可协议 (例如,Y)。
CLUSTER_NAME 用户帐户控制 N/A 要部署大数据群集到 SQLServer 的 Kubernetes 命名空间的名称。
CLUSTER_PLATFORM 用户帐户控制 N/A 部署 Kubernetes 群集的平台。 可以是aks, minikube, kubernetes
CLUSTER_COMPUTE_POOL_REPLICAS 否 1 计算池副本来构建数。在仅值 CTP2.0 允许为 1。
CLUSTER_DATA_POOL_REPLICAS 否 2 池中的副本,以生成数据的数目。
CLUSTER_STORAGE_POOL_REPLICAS 否 2 存储池的副本,以生成数。
DOCKER_REGISTRY 用户帐户控制 TBD 用于部署群集的映像的存储位置的专用注册表。
DOCKER_REPOSITORY 用户帐户控制 TBD 专用存储库中的上述注册表存储映像。 它是必需的封闭的公共预览版的持续时间。
DOCKER_USERNAME 用户帐户控制 N/A 用于访问容器映像,以防在专用存储库中存储的用户名。 它是必需的封闭的公共预览版的持续时间。
DOCKER_PASSWORD 用户帐户控制 N/A 用于访问上述的专用存储库的密码。 它是必需的封闭的公共预览版的持续时间。
DOCKER_EMAIL 用户帐户控制 N/A 与上面的专用存储库关联的电子邮件。 它是必需的封闭的个人预览版的持续时间。
DOCKER_IMAGE_TAG 否 最新 用于标记图像的标签。
DOCKER_IMAGE_POLICY 否 始终 始终强制的映像拉取。
DOCKER_PRIVATE_REGISTRY 用户帐户控制 1 为封闭的公共预览版的时间范围内,此值必须设置为 1。
CONTROLLER_USERNAME 用户帐户控制 N/A 对于群集管理员用户名。
CONTROLLER_PASSWORD 用户帐户控制 N/A 群集管理员的密码。
KNOX_PASSWORD 用户帐户控制 N/A Knox 用户的密码。
MSSQL_SA_PASSWORD 用户帐户控制 N/A 对于 master 的 SQL 实例 SA 用户的密码。
USE_PERSISTENT_VOLUME 否 true true 若要使用 Kubernetes 永久性卷声明 pod 存储。 false 使用临时主机存储为 pod 存储。 请参阅数据暂留一文,了解更多详细信息。 如果部署在 minikube 的大数据群集的 SQL Server 和 USE_PERSISTENT_VOLUME = true,必须设置的值为STORAGE_CLASS_NAME=standard。
STORAGE_CLASS_NAME 否 默认值 如果USE_PERSISTENT_VOLUME是true这指示要使用的 Kubernetes 存储类的名称。 请参阅数据暂留一文,了解更多详细信息。 如果部署在 minikube 的大数据群集的 SQL Server 时,默认的存储类名称不同,您必须通过设置重写此STORAGE_CLASS_NAME=standard。
MASTER_SQL_PORT 否 31433 主 SQL 实例在公用网络进行侦听 TCP/IP 端口。
KNOX_PORT 否 30443 Apache Knox 在公用网络进行侦听 TCP/IP 端口。
GRAFANA_PORT 否 30888 监视应用程序 Grafana 在公用网络进行侦听 TCP/IP 端口。
KIBANA_PORT 否 30999 Kibana 日志搜索应用程序在公用网络进行侦听 TCP/IP 端口。

Important:

  1. 受限个人预览版期间,专用 Docker 注册表的凭据将向您提供在会审您EAP 注册。
  2. 对于使用内置的本地群集kubeadm,环境变量的值CLUSTER_PLATFORM是kubernetes。 此外,当USE_PERSISTENT_VOLUME=true,必须预先预配 Kubernetes 存储类并将其传递通过使用STORAGE_CLASS_NAME。
  3. 请确保你在双引号内包装密码,如果它包含任何特殊字符。 您可以设置 MSSQL_SA_PASSWORD 为您希望的任何内容,但请确保它们是足够复杂并且不使用!,&或‘字符。 请注意,双引号分隔符仅适用于 bash 命令。
  4. 群集的名称必须仅小写字母数字字符,不留空格。 将在具有与群集相同的名称的命名空间中创建群集的所有 Kubernetes 项目 (容器、 pod、 有状态集、 服务) 指定的名称。
  5. SA帐户是在安装过程中创建的 SQL Server 主实例上的系统管理员。 创建 SQL Server 容器,你指定的 MSSQL_SA_PASSWORD 环境变量是可发现通过运行后回显 $MSSQL_SA_PASSWORD 容器中。 出于安全考虑,更改 SA 密码根据最佳实践此处。

根据使用的 Windows 或 Linux 客户端设置部署大数据群集所需的环境变量不同。 选择以下步骤使用具体取决于哪个操作系统。

初始化以下环境变量,它们所需的部署群集:

Windows

使用 CMD 窗口 (而不是 PowerShell),配置以下环境变量。 不要使用引号将值。

SET ACCEPT_EULA=Y
SET CLUSTER_PLATFORM=<minikube or aks or kubernetes>

SET CONTROLLER_USERNAME=<controller_admin_name – can be anything>
SET CONTROLLER_PASSWORD=<controller_admin_password – can be anything, password complexity compliant>
SET KNOX_PASSWORD=<knox_password – can be anything, password complexity compliant>
SET MSSQL_SA_PASSWORD=<sa_password_of_master_sql_instance, password complexity compliant>

SET DOCKER_REGISTRY=private-repo.microsoft.com
SET DOCKER_REPOSITORY=mssql-private-preview
SET DOCKER_USERNAME=<your username, credentials provided by Microsoft>
SET DOCKER_PASSWORD=<your password, credentials provided by Microsoft>
SET DOCKER_EMAIL=<your Docker email, use the username provided by Microsoft>
SET DOCKER_PRIVATE_REGISTRY="1"

Linux

初始化以下环境变量。 在 bash 中,可以使用引号将每个值。

export ACCEPT_EULA=Y
export CLUSTER_PLATFORM=<minikube or aks or kubernetes>

export CONTROLLER_USERNAME="<controller_admin_name – can be anything>"
export CONTROLLER_PASSWORD="<controller_admin_password – can be anything, password complexity compliant>"
export KNOX_PASSWORD="<knox_password – can be anything, password complexity compliant>"
export MSSQL_SA_PASSWORD="<sa_password_of_master_sql_instance, password complexity compliant>"

export DOCKER_REGISTRY="private-repo.microsoft.com"
export DOCKER_REPOSITORY="mssql-private-preview"
export DOCKER_USERNAME="<your username, credentials provided by Microsoft>"
export DOCKER_PASSWORD="<your password, credentials provided by Microsoft>"
export DOCKER_EMAIL="<your Docker email, use the username provided by Microsoft>"
export DOCKER_PRIVATE_REGISTRY="1"

Minikube 设置

如果要部署在 minikube 上并USE_PERSISTENT_VOLUME=true(默认值),您还必须重写的默认值为STORAGE_CLASS_NAME环境变量。

Minikube 部署在 Windows 上使用以下命令:

SET STORAGE_CLASS_NAME=standard

Minikube 部署,在 Linux 上使用以下命令:

export STORAGE_CLASS_NAME=standard

或者,您可以禁止显示在 minikube 上通过设置使用永久性卷USE_PERSISTENT_VOLUME=false。

Kubadm 设置

如果使用 kubeadm 物理或虚拟机上进行部署,必须预先预配 Kubernetes 存储类并将其传递通过使用STORAGE_CLASS_NAME。 或者,您可以禁止显示通过设置使用永久性卷USE_PERSISTENT_VOLUME=false。 有关持久性存储区的详细信息,请参阅与大数据群集在 Kubernetes 的 SQL Server 数据暂留。

部署 SQL Server 大数据群集

创建群集 API 用于初始化 Kubernetes 命名空间并将其部署到该命名空间的所有应用程序 pod。 若要部署 Kubernetes 群集上的 SQL Server 大数据群集,请运行以下命令:

mssqlctl create cluster <name of your cluster>

在群集启动期间客户端命令窗口将输出的部署状态。 此外可以通过不同的命令窗口中运行以下命令检查部署状态:

kubectl get all -n <name of your cluster>
kubectl get pods -n <name of your cluster>
kubectl get svc -n <name of your cluster>

运行,可以查看更精细的状态和配置每个 pod:

kubectl describe pod <pod name> -n <name of your cluster>

控制器 pod 运行后,您可以利用群集管理门户来监视部署中的部署选项卡。

获取 SQL Server 主实例和 SQL Server 大数据群集 IP 地址

部署脚本已成功完成后,可以获取如下所述的步骤的 SQL Server 主实例的 IP 地址。 将使用此 IP 地址和端口号 31433 连接到 SQL Server 主实例 (例如: <ip 地址>、 31433)。 同样,对于 SQL Server 大数据群集 IP。 群集管理门户中的服务终结点选项卡中概述了群集的所有终结点。 可以使用群集管理门户来监视部署。 您可以访问在门户中使用的外部 IP 地址和端口号service-proxy-lb(例如: https://<ip 地址>: 30777)。 凭据的访问管理门户中的值CONTROLLER_USERNAME和CONTROLLER_PASSWORD上面提供的环境变量。

AKS

如果使用 AKS,Azure 提供了 Azure 负载均衡器服务。 运行以下命令:

kubectl get svc service-master-pool-lb -n <name of your cluster>
kubectl get svc service-security-lb -n <name of your cluster>
kubectl get svc service-proxy-lb -n <name of your cluster>

寻找外部 IP分配给服务的值。 然后,连接到 SQL Server 主实例端口 31433 在使用的 IP 地址 (例如: <ip 地址>、 31433) 和 SQL Server 大数据群集终结点使用的外部 IPservice-security-lb服务。

Minikube

如果使用 Minikube,您需要运行以下命令来获取 IP 地址连接到所需。 除了 IP,指定您需要连接到终结点的端口。 若要获取的所有服务终结点

minikube ip

不管平台如何在 Kubernetes 群集上运行,若要获取针对的群集,运行以下命令部署的所有服务终结点:

kubectl get svc -n <name of your cluster>

升级到新版本

目前,大数据群集升级到新版本的唯一方法是手动删除并重新创建群集。 每个版本具有的唯一版本mssqlctl不是与以前的版本兼容。 此外,如果旧群集必须下载一个新的节点上的图像,最新的映像不可能与在群集上的较旧映像兼容。 若要升级到最新版本,请使用以下步骤:

  1. 在删除之前在旧群集,备份数据,和 HDFS 上的 SQL Server 主实例。 对于 SQL Server 主实例,可以使用SQL Server 备份和还原。 Hdfs,你可以在使用数据复制curl。

  2. 删除与旧群集mssqlctl delete cluster命令。

     mssqlctl delete cluster <old-cluster-name>
    
  3. 安装最新版本mssqlctl。

    pip3 install --extra-index-url https://private-repo.microsoft.com/python/ctp-2.1 mssqlctl
    

    IMPORTANT 对于每个版本的路径mssqlctl更改。 即使你安装了mssqlctl,则必须重新安装最新的路径中创建新群集之前。

  4. 安装最新版本中的说明部署部分的这篇文章。

后续步骤

已成功部署到 Kubernetes,大数据群集的 SQL Server 后安装的大数据工具并尝试一些新功能并了解如何在 SQL Server 2019 预览版中使用笔记本。

历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者(原始作者元数据 rothja)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。

资料来源与适用范围

资料来源
Microsoft / SQL Server 中文文档历史快照
适用范围
历史中文快照 2018-11-30;详见原文产品版本;文档日期 11/06/2018
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。