适用对象:yesSQL Server(仅限 Windows)noAzure SQL 数据库 noAzure SQL 数据仓库 no并行数据仓库
现在让我们使用相同的数据使用 R 代码。 在本课程中,了解如何使用中的函数RevoScaleR包。
本演练提供的 R 脚本包括创建数据对象、生成摘要和生成模型所需的所有代码。 R 脚本文件 RSQL_RWalkthrough.R位于脚本文件的安装位置。
- 如果熟悉 R,则可同时运行所有脚本。
- 对于 revoscaler 初学者的读者,本教程会通过脚本行的行。
- 若要运行此脚本中的各个行,可突出显示文件中的行,然后按 Ctrl + Enter。
Tip: 保存 R 工作区,以防你想要稍后完成本演练的剩余部分。 通过这种方式的数据对象和其他变量是供重新使用。
定义 SQL Server 计算上下文
Microsoft R 可以轻松从中获取数据SQL Server在 R 代码中使用。 该过程如下所示:
- 创建与 SQL Server 实例的连接
- 定义具有所需数据的查询或指定表或视图
- 定义当运行 R 代码时要使用的一个或多个计算上下文
- (可选) 定义了从源读取时应用于数据源的转换
以下步骤是所有的 R 代码的一部分,并且应在 R 环境中运行。 我们使用 Microsoft R Client,因为它包括所有 RevoScaleR 包,以及一套基本、 轻量的 R 工具。
-
如果RevoScaleR包已加载,则运行此 R 代码行:
library("RevoScaleR")引号是可选的在这种情况下,尽管建议。
如果遇到错误,请确保你的 R 开发环境正在使用的库中包含的 RevoScaleR 包。 使用命令如
.libPaths()若要查看当前的库路径。 -
为 SQL Server 创建连接字符串并将其保存在一个 R 变量_connStr_。
connStr <- "Driver=SQL Server;Server=your_server_name;Database=nyctaxi_sample;Uid=your-sql-login;Pwd=your-login-password"对于服务器名称中,您可能能够使用只是实例名称,或可能需要完全限定的名称,具体取决于你的网络。
对于 Windows 身份验证的语法是稍有不同:
connStr <- "Driver=SQL Server;Server=your_server_name;Database=nyctaxi_sample;Trusted_Connection=True"供下载的 R 脚本仅使用 SQL 登录名。 通常情况下,我们建议在可能的情况,以避免将密码保存在 R 代码中使用 Windows 身份验证。 但是,若要确保在本教程中的代码匹配从 Github 下载的代码,我们将为本演练的其余部分使用 SQL 登录名。
-
定义要用于创建一个新的变量计算上下文。 创建计算上下文对象后,可用于 SQL Server 实例上运行 R 代码。
sqlShareDir <- paste("C:\\AllShare\\",Sys.getenv("USERNAME"),sep="") sqlWait <- TRUE sqlConsoleOutput <- FALSE-
在工作站和 SQL Server 计算机之间来回序列化 R 对象时,R 会使用临时目录。 可指定用作 sqlShareDir 的本地目录,或者接受默认目录。
-
使用sqlWait以指示您是否要 R 等待来自服务器的结果。 等待作业与非等待作业的讨论,请参阅分布式计算和使用 Microsoft R 中的 ScaleR 的并行计算。
-
使用参数sqlConsoleOutput以指示您不想要查看从 R 控制台的输出。
-
-
在调用RxInSqlServer构造函数来创建计算上下文对象的变量和连接字符串已定义,并将新对象保存在 R 变量sqlcc。
sqlcc <- RxInSqlServer(connectionString = connStr, shareDir = sqlShareDir, wait = sqlWait, consoleOutput = sqlConsoleOutput) -
默认情况下,计算上下文位于本地,因此需要显式设置active计算上下文。
rxSetComputeContext(sqlcc)rxSetComputeContext会无形返回先前活动的计算上下文,使其可供使用rxGetComputeContext返回活动的计算上下文
请注意,设置计算上下文仅影响使用 RevoScaleR 包中的函数的操作;该计算上下文不会影响开源代码 R 操作的执行方式。
创建使用 RxSqlServer 数据源
在 Microsoft R数据源是使用 RevoScaleR 函数创建的对象。 数据源对象指定某些想要使用的一个任务,例如模型训练或特征提取的数据的集。 你可以从各种源; 获取数据当前支持的源的列表,请参阅RxDataSource。
前面定义连接字符串,并在一个 R 变量中保存该信息。 您可以重新使用该连接信息以指定的数据要获取。
-
将 SQL 查询保存为一个字符串变量。 查询定义用于定型模型的数据。
sampleDataQuery <- "SELECT TOP 1000 tipped, fare_amount, passenger_count,trip_time_in_secs,trip_distance, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude FROM nyctaxi_sample"我们使用了 TOP 子句来使操作运行得更快,但由查询返回的实际行根据顺序可能有所不同。 因此,摘要结果也可能不同于下面所列。 可以删除 TOP 子句。
-
将查询定义作为参数传递到 RxSqlServerData 函数。
inDataSource <- RxSqlServerData( sqlQuery = sampleDataQuery, connectionString = connStr, colClasses = c(pickup_longitude = "numeric", pickup_latitude = "numeric", dropoff_longitude = "numeric", dropoff_latitude = "numeric"), rowsPerRead=500 )-
colClasses 参数指定在 SQL Server 和 R 间移动数据时要使用的列类型。这一点非常主要,因为 SQL Server 使用的数据类型不同于 R,且使用的数据类型更多。 有关详细信息,请参阅R 库和数据类型。
-
自变量rowsPerRead对于管理内存使用率和高效计算非常重要。 R Services(数据库内) 中大多数增强的分析函数都可以处理区块中的数据并累积中间结果,并在读取所有的数据后返回最终的计算。 通过添加rowsPerRead参数,可以控制数据的行数读入每个区块中进行处理。 如果此参数的值太大,则数据访问可能很慢,因为没有足够的内存来有效地处理如此大型的数据区块。 在某些系统中,设置rowsPerRead为过小的值还可以提供性能下降。
-
-
此时,已创建inDataSource对象,但它不包含任何数据。 数据才会被提取的 SQL 查询从本地环境到如运行函数之后,才能rxImport或rxSummary。
但是,现在,已定义的数据对象,您可以使用它作为其他函数的参数。
使用 R 摘要中的 SQL Server 数据
在本部分中,你将尝试中提供的函数的几个R Services(数据库内)支持远程计算上下文。 通过将 R 函数应用到数据源,可以浏览、 总结和绘制SQL Server数据。
-
调用函数rxGetVarInfo以获取中的数据源及其数据类型的变量的列表。
rxGetVarInfo是一个便捷函数; 您可以在任何数据帧上调用它或的远程数据对象中的数据集中,以获取信息,例如最大值和最小值,数据类型和因子列中的级别数。
请考虑在进行任何类型的数据输入、功能转换或功能工程后运行此函数。 通过执行此操作,可以确保所有想要使用它在模型中的功能都是所需的数据类型,并避免错误。
rxGetVarInfo(data = inDataSource)结果
Var 1: tipped, Type: integer Var 2: fare_amount, Type: numeric Var 3: passenger_count, Type: integer Var 4: trip_time_in_secs, Type: numeric, Storage: int64 Var 5: trip_distance, Type: numeric Var 6: pickup_datetime, Type: character Var 7: dropoff_datetime, Type: character Var 8: pickup_longitude, Type: numeric Var 9: pickup_latitude, Type: numeric Var 10: dropoff_longitude, Type: numeric -
现在,调用 RevoScaleR 函数rxSummary以获取有关各个变量的详细统计信息。
rxSummary 基于 R
summary函数,但有一些其他功能和优点。 rxSummary 在多个计算上下文中并支持分块。 此外可以使用 rxSummary 来转换值,或汇总基于的因素级别。在此示例中,您可以汇总基于乘客数量为费用金额。
start.time <- proc.time() rxSummary(~fare_amount:F(passenger_count,1,6), data = inDataSource) used.time <- proc.time() - start.time print(paste("It takes CPU Time=", round(used.time[1]+used.time[2],2)," seconds, Elapsed Time=", round(used.time[3],2), " seconds to summarize the inDataSource.", sep=""))- RxSummary 的第一个参数指定的公式或字词汇总方式。 在这里,
F()函数用于中的值转换为_乘客_计数_为之前汇总的因素。 您还必须指定的最小值 (1) 和最大值 (6) 用于_乘客_计数_因子变量。 - 如果未指定要输出的统计信息,默认情况下 rxSummary 输出平均值、 StDev、 Min、 Max 和有效且缺失的观察值。
- 本示例中也包括跟踪函数开始时间和完成时间的代码,以便可以比较性能。
结果
如果 rxSummary 函数成功运行,应看到如下,结果按类别后跟的统计信息列表。
rxSummary(formula = ~fare_amount:F(passenger_count, 1,6), data = inDataSource) Data: inDataSource (RxSqlServerData Data Source) Number of valid observations: 1000 - RxSummary 的第一个参数指定的公式或字词汇总方式。 在这里,
对大数据的附加练习
请尝试定义的所有行的新查询字符串。 我们建议你设置新的数据源对象对于此试验。 您还可以尝试更改rowsToRead参数,以查看它如何影响吞吐量。
bigDataQuery <- "SELECT tipped, fare_amount, passenger_count,trip_time_in_secs,trip_distance, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude FROM nyctaxi_sample"
bigDataSource <- RxSqlServerData(
sqlQuery = bigDataQuery,
connectionString = connStr,
colClasses = c(pickup_longitude = "numeric", pickup_latitude = "numeric",
dropoff_longitude = "numeric", dropoff_latitude = "numeric"),
rowsPerRead=500
)
start.time <- proc.time()
rxSummary(~fare_amount:F(passenger_count,1,6), data = bigDataSource)
used.time <- proc.time() - start.time
print(paste("It takes CPU Time=", round(used.time[1]+used.time[2],2)," seconds,
Elapsed Time=", round(used.time[3],2),
" seconds to summarize the inDataSource.", sep=""))
Tip: 在此运行时,可以使用之类的工具Process Explorer或使用 SQL Server 服务运行 SQL Profiler,若要查看如何建立连接和 R 代码。
另一个选项是监视使用这些 SQL Server 上运行的 R 作业自定义报表。
下一课
上一课
历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者(原始作者元数据 HeidiSteen)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站展开固定版本仓库内的引用内容,将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。
