大网数据广告活动
数据库与应用安全

R 和 Python 机器学习 SQL Server 中的服务

· 52CE 我爱测

在 SQL Server 和 Python 在 SQL Server 中,与用于数据科学和统计建模、 机器学习模型,预测分析、 数据可视化效果和的详细信息的关系数据集成的 R。

适用对象:yesSQL Server(仅限 Windows)noAzure SQL 数据库 noAzure SQL 数据仓库 no并行数据仓库

SQL Server 2017机器学习服务是数据库引擎实例的加载项,用于在 SQL Server 上执行 R 和 Python 代码。 代码在可扩展性框架中运行,与核心引擎进程隔离,但完全可用于关系数据(作为存储过程、包含 R 或 Python 语句的 T-SQL 脚本或包含 T-SQL 的 R 或 Python 代码)。

如果以前使用过SQL Server 2016 R Services、 SQL Server 2017 中的机器学习服务是与更新版本的基本 R,RevoScaleR,MicrosoftML,R 支持,下一代和 2016 版本中引入的其他库。

在 Azure SQL 数据库中,机器学习服务(使用 R)目前处于公共预览状态。

机器学习服务的关键价值主张是其企业R和Python软件包的强大功能,可以大规模提供高级分析,并能够将计算和处理带到数据所在的位置,从而消除了在网络上提取数据的需求。

组件

SQL Server 2017 支持 R 和 Python。 下表描述了这些组件。

组件 Description
SQL Server Launchpad服务 管理外部R和Python运行时与数据库引擎实例之间通信的服务。
R 包 RevoScaleR 是可扩展R的主要库。此库中的函数是使用最广泛的函数。 在这些库中可以找到数据转换和操作,统计摘要,可视化以及许多形式的建模和分析。 此外,这些库中的功能可自动在可用内核之间分配工作负载以进行并行处理,并能够处理由计算引擎协调和管理的数据块。 MicrosoftML (R) 添加了机器学习算法,以创建用于文本分析,图像分析和情感分析的自定义模型。 sqlRUtils提供了帮助函数,用于将R脚本放入T-SQL存储过程,向数据库注册存储过程,以及从R开发环境运行存储过程。olapR 用于在R脚本中构建或执行MDX查询。olapR 是用于构建还是在 R 脚本中执行 MDX 查询。
Microsoft R Open (MRO) MRO 是 Microsoft 的 R 开源分发版,内含包和解释器。 请始终使用安装程序安装的 MRO 版本。
R 工具 R 控制台窗口和命令提示是 R 分发版中的标准工具。
R 示例和脚本 开源 R 和 RevoScaleR 包中包含内置数据集,以便你可以使用预安装的数据创建和运行脚本。
Python 包 revoscalepy 是可缩放 Python 的主要库,具有用于数据操作、转换、可视化和分析的函数。 microsoftml (Python) 添加了机器学习算法,用于为文本分析、图像分析和情绪分析创建自定义模型。
Python 工具 内置的 Python 命令行工具,可用于临时测试和多种任务。
Anaconda Anaconda 是 Python 的开源分发版,包含大量基本包。
Python 示例和脚本 与 R一样,Python 包含内置的数据集和脚本。
R 和 Python 中预先训练的模型 预先训练的模型为特定用例而创建,由 Microsoft 的数据科学工程团队维护。 可以按原样使用预先训练的模型对文本中的积极/消极情绪进行评分,或者使用你提供的新数据输入检测图像中的特征。 这些模型在机器学习服务中运行,但不能通过 SQL Server 安装程序安装。 有关详细信息,请参阅在 SQL Server 上安装预先训练的机器学习模型。

使用 SQL MLS

开发人员和分析人员通常在本地SQL服务器实例上运行代码。 通过添加机器学习服务并启用外部脚本执行,您可以在SQL Server模式中运行R和Python代码:将脚本包装在存储过程中,将模型存储在SQL Server表中,或者在查询中组合T-SQL和R或Python函数。

脚本执行位于数据安全模型的边界内:关系数据库的权限是脚本中数据访问的基础。 运行R或Python脚本的用户不应该能够使用SQL查询中该用户无法访问的任何数据。 您需要标准数据库读取和写入权限,以及运行外部脚本的其他权限。 为关系数据编写的模型和代码包装在存储过程中,或者序列化为二进制格式并存储在表中,或者如果将原始字节流序列化为文件,则从磁盘加载。

数据库内分析最常用的方法是使用sp_execute_external_script,将R或Python脚本作为输入参数传递。

经典的客户端-服务器交互是另一种方法。 从任何客户端工作站上具有一个 IDE,可以安装Microsoft R Client或Python 库,然后编写将推送执行的代码 (称为远程计算上下文) 对数据和到远程 SQL Server 的操作。

最后,如果您使用的是独立服务器和Developer Edition,则可以使用相同的库和解释器在客户端工作站上构建解决方案,然后在SQL Server机器学习服务(数据库中)上部署生产代码。

如何开始

步骤 1: 安装软件

步骤 2: 配置开发工具

数据科研人员通常在自己的笔记本电脑或开发工作站上使用 R 或 Python 来研究数据并生成和调整预测模型,直到生成效果良好的预测模型。 使用 SQL Server 中的数据库内分析,没有必要更改此过程。 安装完成后,您可以在 SQL Server 上运行 R 或 Python 代码,本地和远程。

rsql_keyscenario2

  • 使用喜欢的 IDE。 你可以链接到所选的开发工具的 R 和 Python 库。 有关详细信息,请参阅设置的 R 工具并设置 Python 工具。

  • 处理远程或本地。 数据科研人员可以像平时一样连接到 SQL Server,然后将数据取回到客户端进行本地分析。 但是,更好的解决方案是使用RevoScaleR或revoscalepy Api 将计算推送到 SQL Server 计算机,避免成本高昂且不安全的数据移动。

  • 在 SQL Server 存储过程中嵌入 R 或 Python 脚本。 代码充分优化后,将其封装在一个存储过程中,以避免不必要的数据移动和优化数据处理任务。

第 3 步: 编写第一个脚本

调用 R 或 Python 中的函数从 T-SQL 脚本:

选择该任务的最佳语言。 使用 SQL 难以实现统计计算,但适合使用 R 来实现。 对于基于集的操作数据,利用 SQL Server 的强大功能实现最佳性能。 对列进行快速计算时,可使用内存数据库引擎。

步骤 4: 优化你的解决方案

准备好根据企业数据缩放模型时,数据科研人员通常会与 DBA 或 SQL 开发人员一起优化以下流程非常有效:

  • 特征工程
  • 数据引入和数据转换
  • 计分

传统上,数据科学家使用 R 已与性能和规模,问题,尤其是在使用大型数据集。 因为通用运行时实现是单线程的,只能适应可装入本地计算机上可用内存的数据集。 与 SQL Server 机器学习服务集成提供多种功能,更好的性能,更多的数据:

  • RevoScaleR: 此 R 包包含部分最常用 R 函数,可提供并行度与伸缩性重新设计的实现实现。 包还包括函数来进一步提升性能和规模,通过将计算推送到通常具有大得多的内存和计算能力的 SQL Server 计算机。

  • revoscalepy。 例如远程计算上下文中 RevoScaleR,此 Python 库实现最常用的函数和许多算法支持的分布式处理。

有关性能的详细信息,请参阅此性能案例研究并R 和数据优化。

步骤 5: 部署和使用

准备好进行生产环境中使用的脚本或模型后,数据库开发人员可能会嵌入代码或模型中的存储过程,以便可以从应用程序调用的已保存的 R 或 Python 代码。 存储和从 SQL Server 中运行 R 代码可带来诸多好处: 可以使用方便的 SQL Server 界面中,且所有计算都发生在数据库中,从而避免不必要的数据移动。

rsql_keyscenario1

  • 安全且可扩展。 SQL Server 使用新的可扩展性体系结构,可在数据库引擎的安全并隔离 R 和 Python 的会话。 你还可以控制用户可以执行脚本,并可以指定的代码可以访问哪些数据库。 您可以控制分配给运行时,以防止海量计算降低服务器的整体性能的资源量。

  • 计划和审核。 在 SQL Server 中运行外部脚本作业时,可以控制和审核数据研究人员使用的数据。 与计划其他任何 T-SQL 作业和存储过程一样,用户还可以计划作业和创作包含外部 R 或 Python 脚本的工作流。

若要充分利用资源管理和安全功能的 SQL Server 中,部署过程可能会包括这些任务:

  • 将你的代码转换为可以在存储过程中以最佳方式运行的函数
  • 设置安全性并锁定使用某个特定任务的包
  • (需要企业版) 启用资源调控

有关详细信息,请参阅R 的资源调控并SQL Server 的 R 包管理。

版本历史记录

SQL Server 2017 机器学习服务是新一代的 SQL Server 2016 R Services,增强,其中包括 Python。 下表是所有产品版本中,从开始到当前版本的完整列表。

产品名称 引擎版本 发布日期
SQL Server 2017 机器学习服务 (数据库内) R Server 9.2.1 Python 服务器 9.2 2017 年 10 月
SQL Server 2017 机器学习服务器 (独立版) R Server 9.2.1 Python 服务器 9.2 2017 年 10 月
SQL Server 2016 R Services (数据库内) R Server 9.1 2017 年 7 月
SQL Server 2016 R Server (独立版) R Server 9.1 2017 年 7 月

有关版本的包版本,请参阅中的映射的版本升级 R 和 Python 组件。

可移植性及相关的产品

通过包分发和解释器内置于多个产品,自定义 R 和 Python 代码的可移植性将得到解决。 在 SQL Server 中提供的相同包也会出现在多个其他 Microsoft 产品和服务,包括一个名为非 SQL 版本Microsoft Machine Learning Server。

免费包含我们 R 和 Python 解释器的客户端Microsoft R Client并Python 库。

在 Azure 上,Microsoft 的 R 和 Python 包,以及解释器提供了 Azure 机器学习和 Azure 服务,如HDInsight,并Azure 虚拟机。 数据科学虚拟机包括从多个供应商并将库的工具和来自 Microsoft 的解释器的完全配备的开发工作站。

请参阅

安装 SQL Server 机器学习服务

历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者(原始作者元数据 HeidiSteen)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站展开固定版本仓库内的引用内容,将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。

资料来源与适用范围

资料来源
Microsoft / SQL Server 中文文档历史快照
适用范围
历史中文快照 2018-11-30;详见原文产品版本;文档日期 11/06/2018
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。