适用对象:yesSQL Server(仅限 Windows)noAzure SQL 数据库 noAzure SQL 数据仓库 no并行数据仓库
本文是一系列介绍了 R Services,基于两个案例研究的性能优化的四个文章中的第一个:
-
若要验证的 R 解决方案的性能配置文件的产品开发团队了进行性能测试
-
通过为特定机器学习方案通常客户所要求的 Microsoft 数据科学团队的性能优化。
本系列教程的目的是提供有关性能优化方法最适用于 SQL Server 中运行 R 作业的类型的指南。
- 优化的数据科学任务时,此 (第一个) 主题提供一些常见的问题和体系结构的概述。
- 第二篇文章介绍了特定的硬件和 SQL Server 优化。
- 第三篇文章介绍了中的操作化 R 代码和资源优化。
- 第四个本文介绍在详细信息,并报告结果和结论的测试方法。
适用于: SQL Server 2016 R Services、 SQL Server 2017 机器学习服务
性能目标和目标的方案
SQL server 来支持 R 脚本执行的 SQL Server 2016 中引入了 R Services 功能。 当使用此功能时,R 运行时中运行另一个进程中数据库引擎,但与数据库引擎,借助 SQL Server,如受信任的 Launchpad 使用服务器资源和交互的服务安全地交换数据。
在 SQL Server 2017 中,宣布支持已运行相同的体系结构,使用另一种语言遵循在将来的 Python 脚本。
随着受支持的版本和语言的数量增加,很重要,数据库管理员和数据库架构师必须知道由于机器学习作业的资源争用的可能性和他们可将服务器配置为支持新的工作负荷。 尽管让分析贴近数据消除了不安全的数据移动,但它还将移动关闭便携式计算机的数据科学家和到托管数据的服务器上的分析工作负荷。
机器学习的性能优化显然不是通用的主张。 以下常见任务,可能拥有非常不同的性能配置文件:
- 培训任务: 创建和定型与定型神经网络回归模型
- 特征工程和特征提取使用 T-SQL 中使用 R
- 在单个行或小批次,与批量评分使用表格输入评分
- 运行与模型部署到生产 SQL Server 上的存储过程中在 R 中评分
- 修改 R 代码,最大程度减少数据传输或删除代价高昂的数据转换
- 启用自动测试和重新训练的模型
优化技术的选择取决于哪个任务对于你的应用程序或用例至关重要,因为案例研究介绍常规性能提示和有关如何针对特定方案中,为批处理评分优化进行优化的指南。
-
SQL Server 中的各个优化选项
在第一个性能案例研究,以使用单一类型的模型的单个数据集运行多个测试。 RevoscaleR 中的 rxLinMod 算法用于生成模型,并创建评分,但代码,以及基础数据表系统地更改来测试每个更改的影响。
例如,在一个测试中运行,R 代码已被更改,以便可以使用转换函数与预先计算功能并将其从表中加载功能的功能设计之间进行比较。 在另一个测试运行中,已包含各种类型的压缩或新的索引类型的表中使用标准索引的表与数据之间比较模型训练性能。
-
对于特定的大批量评分方案优化
机器学习任务的第二个案例研究中涉及处理许多继续提交多个位置,并为每个作业位置查找最佳的候选项。 机器学习模型本身表述为二进制分类问题: 它使用的恢复和作业的描述,作为输入,并生成的每个恢复作业对概率。 由于目标是找到最佳匹配项,用户定义的概率阈值用于进一步筛选并获取只是很好的匹配项。
对于此解决方案,主要目标是在评分过程中实现低延迟。 但是,此任务,甚至在评分过程中,计算成本高,因为每个新作业必须匹配数以百万计的合理的时间范围内的简历。 此外,功能工程步骤生成每个恢复或作业,超过 2000年功能,并显著的性能瓶颈。
我们建议你查看所有结果,从第一个的案例研究,以确定哪些技术适用于你的解决方案,并权衡其的潜在影响。
然后,查看评分优化案例研究,了解作者如何应用不同的技术和优化服务器以支持特定的工作负荷的结果。
性能优化过程
配置和性能优化需要扎实的基础,创建适合特定工作负荷的层优化到其上:
-
选择适当的服务器到主机 analytics。 通常情况下,reporting 辅助、 数据仓库或其他服务器的其他报表或分析已经使用的是首选。 但是,在混合事务分析处理 (HTAP) 解决方案中,操作数据可以用作输入到 R 进行快速评分。
-
配置 SQL Server 实例以平衡数据库引擎操作和 R 或 Python 脚本执行在适当的级别。 这可能包括更改 SQL Server 对内存和 CPU 使用情况、 NUMA 和处理器关联设置和创建资源组的默认值。
-
优化服务器计算机以支持的外部脚本的有效地使用。 这可能包括有关外部脚本执行过程,使包管理所使用的帐户数目增加,并将用户分配到相关的安全角色。
-
将特定的优化应用于数据存储和 SQL Server,包括索引和统计信息的策略、 查询设计和查询优化和设计用于机器学习的表中的传输。 此外可以分析数据源和数据传输方法,或修改 ETL 过程,以便优化提取特征。
-
优化分析模型,以避免效率低下。 可能的优化的作用域取决于 R 代码的包和正在使用的数据的复杂性。 关键任务包括消除代价高昂的数据转换或数据准备工作或功能工程中的任务卸载 R 或 Python ETL 进程或 SQL。 您可能重构脚本、 消除行中包安装,将 R 代码划分为单独的过程的培训、 评分和评估,或简化代码,以作为存储过程更有效地工作。
本系列文章
-
为配置硬件提供指导, SQL Server ,以及配置要更好地支持外部脚本的 SQL Server 实例安装。 它是特别适合数据库管理员。
-
提供有关如何优化以避免出现已知的问题的外部脚本的特定提示。 它是最适用于数据科学家。
NOTE 在本部分中的大部分一般情况下适用于 R,而某些信息是信息的特定于 RevoScaleR 分析函数。 没有可用于详细的性能指南revoscalepy和其他受支持的 Python 库。
-
总结了哪些数据是使用两个案例研究、 如何性能进行了测试,并优化如何影响结果。
历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者(原始作者元数据 HeidiSteen)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站展开固定版本仓库内的引用内容,将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。
