SQL Server 大数据群集可部署为 docker 容器的 Kubernetes 群集上。 这是安装和配置步骤概述:
- 设置单个 VM 的 Vm,或在 Azure Kubernetes 服务 (AKS) 群集上的 Kubernetes 群集。
- 安装群集配置工具mssqlctl在客户端计算机上。
- 部署 Kubernetes 群集中的 SQL Server 大数据群集。
Note: SQL Server 大数据群集将为通过 SQL Server 2019 早期采用计划的有限公共预览版发布。 若要请求访问权限,注册此处,并指定你感兴趣,若要试用 SQL Server 大数据群集。 Microsoft 将会审的所有请求,并尽可能快地做出响应。
Kubernetes 群集的先决条件
SQL Server 大数据群集需要最小 v1.10 版本适用于 Kubernetes、 服务器和客户端。 若要安装 kubectl 客户端上的特定版本,请参阅安装 kubectl 二进制通过 curl。 Minikube 和 AKS 的最新版本是至少 1.10。 适用于 AKS,您将需要使用--kubernetes-version参数来指定默认值以外的版本。
Note: 请注意,客户端和服务器的 Kubernetes 版本应 + 1 或-1 的次要版本。 有关详细信息,请参阅Kubernetes 支持的版本和组件倾斜。
Kubernetes 群集设置
如果已有的 Kubernetes 群集,满足上述先决条件,则您可以直接跳到部署步骤。 本部分假定基本了解 Kubernetes 概念。 有关 Kubernetes 的详细信息,请参阅Kubernetes 文档。
您可以选择部署在三种方式中的 Kubernetes:
| 部署 Kubernetes 上: | Description |
|---|---|
| Minikube | 在 VM 中的单节点 Kubernetes 群集。 |
| Azure Kubernetes 服务 (AKS) | Azure 中的托管的 Kubernetes 容器服务。 |
| 多台计算机 | 物理计算机或使用虚拟机上部署的 Kubernetes 群集kubeadm |
配置其中一个 SQL Server 大数据群集的 Kubernetes 群集选项的指导,请参阅以下文章之一:
Tip: 部署 AKS 和 SQL Server 大数据群集的示例 python 脚本,请参阅部署大数据群集在 Azure Kubernetes 服务 (AKS) SQL Server。
部署 SQL Server 大数据群集
配置在 Kubernetes 群集后,你可以继续进行 SQL Server 大数据群集的部署。
Note: 如果要从以前的版本进行升级,请参阅升级部分中的。
若要部署的开发/测试环境的所有默认配置与 Azure 中的大数据群集,请按照本文中的说明操作:
快速入门: 将 SQL Server 大数据群集在 Kubernetes 上部署
如果你想要自定义大数据群集配置,根据工作负荷需求,请按照下一组说明进行操作。
验证 kubernetes 配置
运行kubectl命令以查看群集配置。 请确保该 kubectl 指向正确的群集上下文。
kubectl config view
安装 mssqlctl
mssqlctl是启用群集管理员若要启动和管理大数据群集通过 REST Api 以 Python 编写的命令行实用程序。 所需的最小的 Python 版本是 3.5 版。 您还必须拥有pip用于下载并安装mssqlctl工具。
Important: 如果您安装了以前的版本,则必须删除群集之前升级mssqlctl和安装新版本。 有关详细信息,请参阅升级到新的发行版。
Windows mssqlctl 安装
-
Windows 客户端上下载必需的 Python 包从 https://www.python.org/downloads/ 。 Python3.5.3 和更高版本,pip3 也会安装时安装 Python。
TIP 在安装时 Python3,选择将 Python 添加到你的路径。 如果不这样做,可以更高版本查找 pip3 所在的位置,并手动将其添加到你的路径。
-
请确保具有最新请求包。
python -m pip install requests python -m pip install requests --upgrade -
安装mssqlctl使用以下命令:
pip3 install --extra-index-url https://private-repo.microsoft.com/python/ctp-2.1 mssqlctl
Linux mssqlctl 安装
在 Linux 上,必须安装python3并python3-pip打包,然后运行sudo pip3 install --upgrade pip。 这会安装最新的 3.5 版本的 Python 和 pip。 下面的示例演示如何将这些命令适用于 Ubuntu (如果你正在使用另一个平台,修改命令的程序包管理器):
-
安装所需的 Python 包:
sudo apt-get update && / sudo apt-get install -y python3 && / sudo apt-get install -y python3-pip && / sudo -H pip3 install --upgrade pip -
安装mssqlctl使用以下命令:
pip3 install --extra-index-url https://private-repo.microsoft.com/python/ctp-2.1 mssqlctl
定义环境变量
可以使用一组环境变量传递给自定义群集配置mssqlctl create cluster命令。 环境变量的大部分都是可选的 with 根据下面的默认值。 请注意,环境变量,例如需要用户输入的凭据。
| 环境变量 | Required | 默认值 | Description |
|---|---|---|---|
| ACCEPT_EULA | 用户帐户控制 | N/A | 接受 SQL Server 许可协议 (例如,Y)。 |
| CLUSTER_NAME | 用户帐户控制 | N/A | 要部署大数据群集到 SQLServer 的 Kubernetes 命名空间的名称。 |
| CLUSTER_PLATFORM | 用户帐户控制 | N/A | 部署 Kubernetes 群集的平台。 可以是aks, minikube, kubernetes |
| CLUSTER_COMPUTE_POOL_REPLICAS | 否 | 1 | 计算池副本来构建数。在仅值 CTP2.0 允许为 1。 |
| CLUSTER_DATA_POOL_REPLICAS | 否 | 2 | 池中的副本,以生成数据的数目。 |
| CLUSTER_STORAGE_POOL_REPLICAS | 否 | 2 | 存储池的副本,以生成数。 |
| DOCKER_REGISTRY | 用户帐户控制 | TBD | 用于部署群集的映像的存储位置的专用注册表。 |
| DOCKER_REPOSITORY | 用户帐户控制 | TBD | 专用存储库中的上述注册表存储映像。 它是必需的封闭的公共预览版的持续时间。 |
| DOCKER_USERNAME | 用户帐户控制 | N/A | 用于访问容器映像,以防在专用存储库中存储的用户名。 它是必需的封闭的公共预览版的持续时间。 |
| DOCKER_PASSWORD | 用户帐户控制 | N/A | 用于访问上述的专用存储库的密码。 它是必需的封闭的公共预览版的持续时间。 |
| DOCKER_EMAIL | 用户帐户控制 | N/A | 与上面的专用存储库关联的电子邮件。 它是必需的封闭的个人预览版的持续时间。 |
| DOCKER_IMAGE_TAG | 否 | 最新 | 用于标记图像的标签。 |
| DOCKER_IMAGE_POLICY | 否 | 始终 | 始终强制的映像拉取。 |
| DOCKER_PRIVATE_REGISTRY | 用户帐户控制 | 1 | 为封闭的公共预览版的时间范围内,此值必须设置为 1。 |
| CONTROLLER_USERNAME | 用户帐户控制 | N/A | 对于群集管理员用户名。 |
| CONTROLLER_PASSWORD | 用户帐户控制 | N/A | 群集管理员的密码。 |
| KNOX_PASSWORD | 用户帐户控制 | N/A | Knox 用户的密码。 |
| MSSQL_SA_PASSWORD | 用户帐户控制 | N/A | 对于 master 的 SQL 实例 SA 用户的密码。 |
| USE_PERSISTENT_VOLUME | 否 | true | true 若要使用 Kubernetes 永久性卷声明 pod 存储。 false 使用临时主机存储为 pod 存储。 请参阅数据暂留一文,了解更多详细信息。 如果部署在 minikube 的大数据群集的 SQL Server 和 USE_PERSISTENT_VOLUME = true,必须设置的值为STORAGE_CLASS_NAME=standard。 |
| STORAGE_CLASS_NAME | 否 | 默认值 | 如果USE_PERSISTENT_VOLUME是true这指示要使用的 Kubernetes 存储类的名称。 请参阅数据暂留一文,了解更多详细信息。 如果部署在 minikube 的大数据群集的 SQL Server 时,默认的存储类名称不同,您必须通过设置重写此STORAGE_CLASS_NAME=standard。 |
| MASTER_SQL_PORT | 否 | 31433 | 主 SQL 实例在公用网络进行侦听 TCP/IP 端口。 |
| KNOX_PORT | 否 | 30443 | Apache Knox 在公用网络进行侦听 TCP/IP 端口。 |
| GRAFANA_PORT | 否 | 30888 | 监视应用程序 Grafana 在公用网络进行侦听 TCP/IP 端口。 |
| KIBANA_PORT | 否 | 30999 | Kibana 日志搜索应用程序在公用网络进行侦听 TCP/IP 端口。 |
Important:
- 受限个人预览版期间,专用 Docker 注册表的凭据将向您提供在会审您EAP 注册。
- 对于使用内置的本地群集kubeadm,环境变量的值
CLUSTER_PLATFORM是kubernetes。 此外,当USE_PERSISTENT_VOLUME=true,必须预先预配 Kubernetes 存储类并将其传递通过使用STORAGE_CLASS_NAME。- 请确保你在双引号内包装密码,如果它包含任何特殊字符。 您可以设置 MSSQL_SA_PASSWORD 为您希望的任何内容,但请确保它们是足够复杂并且不使用
!,&或‘字符。 请注意,双引号分隔符仅适用于 bash 命令。- 群集的名称必须仅小写字母数字字符,不留空格。 将在具有与群集相同的名称的命名空间中创建群集的所有 Kubernetes 项目 (容器、 pod、 有状态集、 服务) 指定的名称。
- SA帐户是在安装过程中创建的 SQL Server 主实例上的系统管理员。 创建 SQL Server 容器,你指定的 MSSQL_SA_PASSWORD 环境变量是可发现通过运行后回显 $MSSQL_SA_PASSWORD 容器中。 出于安全考虑,更改 SA 密码根据最佳实践此处。
根据使用的 Windows 或 Linux 客户端设置部署大数据群集所需的环境变量不同。 选择以下步骤使用具体取决于哪个操作系统。
初始化以下环境变量,它们所需的部署群集:
Windows
使用 CMD 窗口 (而不是 PowerShell),配置以下环境变量。 不要使用引号将值。
SET ACCEPT_EULA=Y
SET CLUSTER_PLATFORM=<minikube or aks or kubernetes>
SET CONTROLLER_USERNAME=<controller_admin_name – can be anything>
SET CONTROLLER_PASSWORD=<controller_admin_password – can be anything, password complexity compliant>
SET KNOX_PASSWORD=<knox_password – can be anything, password complexity compliant>
SET MSSQL_SA_PASSWORD=<sa_password_of_master_sql_instance, password complexity compliant>
SET DOCKER_REGISTRY=private-repo.microsoft.com
SET DOCKER_REPOSITORY=mssql-private-preview
SET DOCKER_USERNAME=<your username, credentials provided by Microsoft>
SET DOCKER_PASSWORD=<your password, credentials provided by Microsoft>
SET DOCKER_EMAIL=<your Docker email, use the username provided by Microsoft>
SET DOCKER_PRIVATE_REGISTRY="1"
Linux
初始化以下环境变量。 在 bash 中,可以使用引号将每个值。
export ACCEPT_EULA=Y
export CLUSTER_PLATFORM=<minikube or aks or kubernetes>
export CONTROLLER_USERNAME="<controller_admin_name – can be anything>"
export CONTROLLER_PASSWORD="<controller_admin_password – can be anything, password complexity compliant>"
export KNOX_PASSWORD="<knox_password – can be anything, password complexity compliant>"
export MSSQL_SA_PASSWORD="<sa_password_of_master_sql_instance, password complexity compliant>"
export DOCKER_REGISTRY="private-repo.microsoft.com"
export DOCKER_REPOSITORY="mssql-private-preview"
export DOCKER_USERNAME="<your username, credentials provided by Microsoft>"
export DOCKER_PASSWORD="<your password, credentials provided by Microsoft>"
export DOCKER_EMAIL="<your Docker email, use the username provided by Microsoft>"
export DOCKER_PRIVATE_REGISTRY="1"
Minikube 设置
如果要部署在 minikube 上并USE_PERSISTENT_VOLUME=true(默认值),您还必须重写的默认值为STORAGE_CLASS_NAME环境变量。
Minikube 部署在 Windows 上使用以下命令:
SET STORAGE_CLASS_NAME=standard
Minikube 部署,在 Linux 上使用以下命令:
export STORAGE_CLASS_NAME=standard
或者,您可以禁止显示在 minikube 上通过设置使用永久性卷USE_PERSISTENT_VOLUME=false。
Kubadm 设置
如果使用 kubeadm 物理或虚拟机上进行部署,必须预先预配 Kubernetes 存储类并将其传递通过使用STORAGE_CLASS_NAME。 或者,您可以禁止显示通过设置使用永久性卷USE_PERSISTENT_VOLUME=false。 有关持久性存储区的详细信息,请参阅与大数据群集在 Kubernetes 的 SQL Server 数据暂留。
部署 SQL Server 大数据群集
创建群集 API 用于初始化 Kubernetes 命名空间并将其部署到该命名空间的所有应用程序 pod。 若要部署 Kubernetes 群集上的 SQL Server 大数据群集,请运行以下命令:
mssqlctl create cluster <name of your cluster>
在群集启动期间客户端命令窗口将输出的部署状态。 此外可以通过不同的命令窗口中运行以下命令检查部署状态:
kubectl get all -n <name of your cluster>
kubectl get pods -n <name of your cluster>
kubectl get svc -n <name of your cluster>
运行,可以查看更精细的状态和配置每个 pod:
kubectl describe pod <pod name> -n <name of your cluster>
控制器 pod 运行后,您可以利用群集管理门户来监视部署中的部署选项卡。
获取 SQL Server 主实例和 SQL Server 大数据群集 IP 地址
部署脚本已成功完成后,可以获取如下所述的步骤的 SQL Server 主实例的 IP 地址。 将使用此 IP 地址和端口号 31433 连接到 SQL Server 主实例 (例如: <ip 地址>、 31433)。 同样,对于 SQL Server 大数据群集 IP。 群集管理门户中的服务终结点选项卡中概述了群集的所有终结点。 可以使用群集管理门户来监视部署。 您可以访问在门户中使用的外部 IP 地址和端口号service-proxy-lb(例如: https://<ip 地址>: 30777)。 凭据的访问管理门户中的值CONTROLLER_USERNAME和CONTROLLER_PASSWORD上面提供的环境变量。
AKS
如果使用 AKS,Azure 提供了 Azure 负载均衡器服务。 运行以下命令:
kubectl get svc service-master-pool-lb -n <name of your cluster>
kubectl get svc service-security-lb -n <name of your cluster>
kubectl get svc service-proxy-lb -n <name of your cluster>
寻找外部 IP分配给服务的值。 然后,连接到 SQL Server 主实例端口 31433 在使用的 IP 地址 (例如: <ip 地址>、 31433) 和 SQL Server 大数据群集终结点使用的外部 IPservice-security-lb服务。
Minikube
如果使用 Minikube,您需要运行以下命令来获取 IP 地址连接到所需。 除了 IP,指定您需要连接到终结点的端口。 若要获取的所有服务终结点
minikube ip
不管平台如何在 Kubernetes 群集上运行,若要获取针对的群集,运行以下命令部署的所有服务终结点:
kubectl get svc -n <name of your cluster>
升级到新版本
目前,大数据群集升级到新版本的唯一方法是手动删除并重新创建群集。 每个版本具有的唯一版本mssqlctl不是与以前的版本兼容。 此外,如果旧群集必须下载一个新的节点上的图像,最新的映像不可能与在群集上的较旧映像兼容。 若要升级到最新版本,请使用以下步骤:
-
在删除之前在旧群集,备份数据,和 HDFS 上的 SQL Server 主实例。 对于 SQL Server 主实例,可以使用SQL Server 备份和还原。 Hdfs,你可以在使用数据复制curl。
-
删除与旧群集
mssqlctl delete cluster命令。mssqlctl delete cluster <old-cluster-name> -
安装最新版本mssqlctl。
pip3 install --extra-index-url https://private-repo.microsoft.com/python/ctp-2.1 mssqlctlIMPORTANT 对于每个版本的路径mssqlctl更改。 即使你安装了mssqlctl,则必须重新安装最新的路径中创建新群集之前。
-
安装最新版本中的说明部署部分的这篇文章。
后续步骤
已成功部署到 Kubernetes,大数据群集的 SQL Server 后安装的大数据工具并尝试一些新功能并了解如何在 SQL Server 2019 预览版中使用笔记本。
历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者(原始作者元数据 rothja)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。
