适用对象:yesSQL Server(仅限 Windows)noAzure SQL 数据库 noAzure SQL 数据仓库 no并行数据仓库
Python 集成是可用时包括中的 Python 选项启动 SQL Server 2017 或更高版本机器学习服务 (数据库) 安装。
若要创建和部署 SQL Server 上的 Python 解决方案,安装 Microsoft revoscalepy以及客户端工作站上的其他 Python 库。 Revoscalepy 库,也是远程的 SQL Server 实例上,可协调计算这两个系统之间的请求。
在本文中,了解如何配置 Python 开发工作站,以便可以连接到远程 SQL Server 启用了机器学习和 Python 集成。 完成这篇文章中的步骤后,将具有与 SQL Server 上的相同 Python 库。 此外将了解如何在 SQL Server 上推送到远程的 Python 会话从本地 Python 会话计算。
客户端-服务器组件
在本文中所述,可以使用内置的 Jupyter Notebook 或链接库PyCharm 或任何你通常使用的另一个 IDE。
Tip: 这些练习的视频演示,请参阅运行 R 和 Python 在 Jupyter Notebook 从 SQL Server 中远程。
Note: 使用客户端库安装的替代方法独立服务器为丰富客户端,有些客户更喜欢更深层次的方案中工作。 从 SQL Server 完全分离的独立服务器,但因其具有相同的 Python 库,你可以使用它作为客户端的 SQL Server 数据库内分析。 您还可以使用它为非 SQL 相关的工作,包括导入和从其他数据平台的数据建模功能。 如果安装在独立服务器,可以找到在此位置的 Python 可执行文件:
C:\Program Files\Microsoft SQL Server\140\PYTHON_SERVER。 若要验证你的安装,打开 Jupyter notebook以使用 Python.exe,在该位置运行命令。
常用工具
无论您是熟悉 SQL,在 Python 开发人员或 SQL 开发人员首次使用 Python 和数据库内分析,您将需要 Python 开发工具和 T-SQL 查询编辑器等SQL Server Management Studio (SSMS)以实现所有数据库内分析功能。
对于 Python 开发,可以使用 Jupyter 笔记本,这在 SQL Server 安装的 Anaconda 分发版捆绑。 本文介绍如何启动 Jupyter Notebook,以便您可以运行 Python 代码本地和远程 SQL 服务器上。
SSMS 是单独的下载,适用于创建和运行 SQL Server,包括那些包含 Python 代码上的存储的过程。 可以在存储过程中嵌入几乎任何在 Jupyter 笔记本中编写的 Python 代码。 您可以单步执行其他教程,了解如何SSMS 和嵌入式的 Python。
1-安装 Python 包
本地工作站必须具有与 SQL Server,包括基本 Anaconda 4.2.0 与 Python 3.5.2 分发和特定于 Microsoft 的包上的相同 Python 包版本。
安装脚本将三个特定于 Microsoft 的库添加到 Python 客户端。 该脚本将安装revoscalepy,用于定义数据源对象和计算上下文。 它将安装microsoftml提供机器学习算法。 Azureml还安装包,但它适用于与独立 (非实例) 的机器学习服务器上下文关联的操作化任务并且可能会限制使用的数据库内分析。
- 下载安装脚本。
-
https://aka.ms/mls-py 安装版本 9.2.1 Microsoft Python 程序包。 此版本对应于默认 SQL Server 2017 实例。
-
https://aka.ms/mls93-py 安装版本 9.3 的 Microsoft Python 包。 此版本是更好的选择,如果远程 SQL Server 2017 实例绑定到机器学习服务器 9.3。
-
使用提升的管理员权限打开 PowerShell 窗口 (右键单击以管理员身份运行)。
-
转到下载安装程序的文件夹并运行该脚本。 添加
-InstallFolder命令行参数来指定库的文件夹位置。 例如:cd {{download-directory}} .\Install-PyForMLS.ps1 -InstallFolder "C:\path-to-python-for-mls"
如果省略安装文件夹,默认值为 C:\Program Files\Microsoft\PyForMLS。
安装需要一些时间才能完成。 你可以监视在 PowerShell 窗口中的进度。 安装程序完成后,你有一组完整的包。
Tip: 我们建议Python 为 Windows 常见问题有关在 Windows 上运行 Python 程序的常规 purppose 信息。
2-查找可执行文件
仍在 PowerShell 中,列出要确认安装了 Python.exe、 脚本和其他包的安装文件夹的内容。
-
输入
cd \以转到根驱动器,然后输入为指定的路径-InstallFolder在上一步。 如果在安装过程中省略此参数,默认值是cd C:\Program Files\Microsoft\PyForMLS。 -
输入
dir *.exe若要列出可执行文件。 应会看到python.exe, pythonw.exe,并卸载 anaconda.exe。
Python 可执行文件的列表
在系统上将多个版本的 Python,请记住如果您想要加载,请使用此特定 Python.exe revoscalepy和其他 Microsoft 包。
Note: 安装脚本不会修改你在计算机上,这意味着新的 python 解释器和您刚刚安装的模块不自动提供给可能有其他工具的 PATH 环境变量。 将 Python 解释器和库链接到工具的帮助,请参阅安装 IDE。
3-打开 Jupyter Notebook
Anaconda 包含的 Jupyter 笔记本。 下一步,创建一个 notebook 并运行包含您刚安装的库的某些 Python 代码。
- 在 Powershell 提示符下,仍在 C:\Program Files\Microsoft\PyForMLS 目录中,打开 Jupyter Notebook 从脚本文件夹中:
.\Scripts\jupyter-notebook
应该在默认浏览器中打开笔记本https://localhost:8889/tree。
启动另一种方法是双击jupyter notebook.exe。
- 单击新建,然后单击Python 3。
使用新的 Python 3 选择的 jupyter 笔记本
-
输入
import revoscalepy并运行到加载特定于 Microsoft 的库的命令。 -
输入并运行
print(revoscalepy.__version__)要返回的版本信息。 应会看到 9.2.1 或 9.3.0。 可以使用与这些版本之一服务器上的 revoscalepy。 -
输入一系列更复杂的语句。 此示例生成汇总统计信息使用rx_summary对本地数据集。 其他函数获取示例数据的位置,并创建本地.xdf 文件的数据源对象。
import os
from revoscalepy import rx_summary
from revoscalepy import RxXdfData
from revoscalepy import RxOptions
sample_data_path = RxOptions.get_option("sampleDataDir")
print(sample_data_path)
ds = RxXdfData(os.path.join(sample_data_path, "AirlineDemoSmall.xdf"))
summary = rx_summary("ArrDelay+DayOfWeek", ds)
print(summary)
以下屏幕截图显示的输入和输出中,已简化的一部分。
显示 revoscalepy 输入和输出的 jupyter 笔记本
4-获取 SQL 权限
若要连接到要运行脚本和上传数据的 SQL Server 实例,必须在数据库服务器上具有有效的登录名。 可以使用 SQL 登录凭据或集成 Windows 身份验证信息。 我们通常建议使用 Windows 集成身份验证,但使用 SQL 登录名是在某些情况下,更简单,尤其是在脚本中包含对外部数据连接字符串时。
最小值,用来运行代码的帐户必须具有你正在使用,加上特殊权限执行任意外部脚本从数据库中读取的权限。 大多数开发人员还需要权限才能创建存储的过程,并将数据写入到包含训练数据的表或评分的数据。
询问数据库管理员来配置你的帐户的以下权限,其中使用 Python 在数据库中:
- EXECUTE ANY EXTERNAL SCRIPT若要在服务器上运行 Python。
- db_datareader权限才能运行用于定型模型的查询。
- db_datawriter编写定型数据或评分的数据。
- db_owner以创建对象的存储过程,如表、 函数。 您还需要db_owner创建示例,并测试数据库。
如果你的代码需要与 SQL Server 的默认情况下不安装的程序包,排列与数据库管理员能够与实例安装的包。 SQL Server 是一个受保护的环境并在其中安装包的限制。 不建议临时安装的包作为你的代码的一部分,即使您具有权限。 此外,server 库中安装新包之前始终仔细考虑的安全隐患。
5-创建测试数据
如果你有权在远程服务器上创建数据库,可以运行以下代码以创建用于在本文的剩余步骤的鸢尾花演示数据库。
1-远程创建 irissql 数据库
import pyodbc
# creating a new db to load Iris sample in
new_db_name = "irissql"
connection_string = "Driver=SQL Server;Server=localhost;Database={0};Trusted_Connection=Yes;"
# you can also swap Trusted_Connection for UID={your username};PWD={your password}
cnxn = pyodbc.connect(connection_string.format("master"), autocommit=True)
cnxn.cursor().execute("IF EXISTS(SELECT * FROM sys.databases WHERE [name] = '{0}') DROP DATABASE {0}".format(new_db_name))
cnxn.cursor().execute("CREATE DATABASE " + new_db_name)
cnxn.close()
print("Database created")
2-从导入鸢尾花示例 SkLearn
from sklearn import datasets
import pandas as pd
# SkLearn has the Iris sample dataset built in to the package
iris = datasets.load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
3-使用 Revoscalepy Api 来创建表并将鸢尾花数据加载
from revoscalepy import RxSqlServerData, rx_data_step
# Example of using RX APIs to load data into SQL table. You can also do this with pyodbc
table_ref = RxSqlServerData(connection_string=connection_string.format(new_db_name), table="iris_data")
rx_data_step(input_data = df, output_file = table_ref, overwrite = True)
print("New Table Created: Iris")
print("Sklearn Iris sample loaded into Iris table")
6-测试远程连接
此下一步之前,请确保您具有 SQL Server 实例和连接字符串上的权限鸢尾花示例数据库。 如果数据库不存在并且具有足够的权限,则可以使用这些内联说明创建数据库。
连接字符串替换为有效的值。 示例代码使用"Driver=SQL Server;Server=localhost;Database=irissql;Trusted_Connection=Yes;",但你的代码应具有一个实例的名称,并映射到数据库用户登录名的凭据选项可能指定远程服务器。
定义一个函数
以下代码定义一个函数,将在后面的步骤发送到 SQL Server。 执行时,它使用数据和库 (revoscalepy,pandas,matplotlib) 在远程服务器上创建散点图的鸢尾花数据集。 它将返回.png 字节的流返回到要呈现在浏览器中的 Jupyter 笔记本。
def send_this_func_to_sql():
from revoscalepy import RxSqlServerData, rx_import
from pandas.tools.plotting import scatter_matrix
import matplotlib.pyplot as plt
import io
# remember the scope of the variables in this func are within our SQL Server Python Runtime
connection_string = "Driver=SQL Server;Server=localhost;Database=irissql;Trusted_Connection=Yes;"
# specify a query and load into pandas dataframe df
sql_query = RxSqlServerData(connection_string=connection_string, sql_query = "select * from iris_data")
df = rx_import(sql_query)
scatter_matrix(df)
# return bytestream of image created by scatter_matrix
buf = io.BytesIO()
plt.savefig(buf, format="png")
buf.seek(0)
return buf.getvalue()
将该函数发送到 SQL Server
在此示例中,创建远程计算上下文,然后将函数的执行发送到 SQL Server rx_exec。 Rx_exec函数很有用,因为它接受作为参数的计算上下文。 你想要远程执行的任何函数必须具有的计算上下文参数。 一些函数,如rx_lin_mod直接支持此参数。 对于不的操作,可以使用rx_exec在远程计算上下文中提供你的代码。
在此示例中,没有原始数据必须从 SQL Server 传输到 Jupyter Notebook。 鸢尾花数据库中发生的所有计算,只有图像文件返回到客户端。
from IPython import display
import matplotlib.pyplot as plt
from revoscalepy import RxInSqlServer, rx_exec
# create a remote compute context with connection to SQL Server
sql_compute_context = RxInSqlServer(connection_string=connection_string.format(new_db_name))
# use rx_exec to send the function execution to SQL Server
image = rx_exec(send_this_func_to_sql, compute_context=sql_compute_context)[0]
# only an image was returned to my jupyter client. All data remained secure and was manipulated in my db.
display.Image(data=image)
下面的屏幕截图显示了输入和散点图输出。
jupyter 笔记本显示散点图输出
7-链接到 python.exe 的工具
因为开发人员经常使用多个版本的 Python,安装程序不向路径添加 Python。 若要使用的 Python 可执行文件和由安装程序安装的库,链接到你的 IDE Python.exe还提供的路径处revoscalepy并microsoftml。
Jupyter 笔记本
本文使用内置的 Jupyter Notebook 演示对函数调用revoscalepy。 如果您不熟悉此工具,以下屏幕截图演示了部分的结合方式和原因一切正常。
父文件夹 C:\Program Files\Microsoft\PyForMLS 包含 Anaconda 以及 Microsoft 包。 Jupyter 笔记本包含在 Anaconda,在脚本文件夹中,Python 可执行文件不自动注册使用 Jupyter Notebook。 在 site-packages 下找到包可以导入到的笔记本,包括用于数据科学和机器学习的三个 Microsoft 包中。
可执行文件和库
如果使用的另一个 IDE,您需要将 Python 可执行文件和函数库链接到所需的工具。 以下部分提供的常用工具的说明。
Visual Studio
如果有Visual Studio 中的 Python,使用以下配置选项来创建包含 Microsoft Python 包的 Python 环境。
| 配置设置 | 值 |
|---|---|
| 前缀路径 | C:\Program Files\Microsoft\PyForMLS |
| 解释器路径 | C:\Program Files\Microsoft\PyForMLS\python.exe |
| 窗口化解释器 | C:\Program Files\Microsoft\PyForMLS\pythonw.exe |
为了帮助您配置的 Python 环境,请参阅Visual Studio 中的管理 Python 环境。
PyCharm
集中 PyCharm,由机器学习服务器安装到 Python 可执行文件的解释器。
-
在新项目中,在设置中,单击添加本地。
-
输入
C:\Program Files\Microsoft\PyForMLS\。
现在,你可以导入revoscalepy, microsoftml,或azureml模块。 你还可以选择工具 > Python 控制台打开交互窗口。
后续步骤
现在,有工具和有效的连接到 SQL Server,通过使用扩展你的技能SQL Server Management Studio (SSMS)创建和执行存储的过程包含嵌入式的 Python 代码。
历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者(原始作者元数据 HeidiSteen)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站展开固定版本仓库内的引用内容,将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。
