大网数据广告活动
数据库与应用安全

查看和汇总数据使用 R (演练)

· 52CE 我爱测

现在让我们使用相同的数据使用 R 代码。 在本课程中,了解如何使用中的函数RevoScaleR包。

适用对象:yesSQL Server(仅限 Windows)noAzure SQL 数据库 noAzure SQL 数据仓库 no并行数据仓库

现在让我们使用相同的数据使用 R 代码。 在本课程中,了解如何使用中的函数RevoScaleR包。

本演练提供的 R 脚本包括创建数据对象、生成摘要和生成模型所需的所有代码。 R 脚本文件 RSQL_RWalkthrough.R位于脚本文件的安装位置。

  • 如果熟悉 R,则可同时运行所有脚本。
  • 对于 revoscaler 初学者的读者,本教程会通过脚本行的行。
  • 若要运行此脚本中的各个行,可突出显示文件中的行,然后按 Ctrl + Enter。

Tip: 保存 R 工作区,以防你想要稍后完成本演练的剩余部分。 通过这种方式的数据对象和其他变量是供重新使用。

定义 SQL Server 计算上下文

Microsoft R 可以轻松从中获取数据SQL Server在 R 代码中使用。 该过程如下所示:

  • 创建与 SQL Server 实例的连接
  • 定义具有所需数据的查询或指定表或视图
  • 定义当运行 R 代码时要使用的一个或多个计算上下文
  • (可选) 定义了从源读取时应用于数据源的转换

以下步骤是所有的 R 代码的一部分,并且应在 R 环境中运行。 我们使用 Microsoft R Client,因为它包括所有 RevoScaleR 包,以及一套基本、 轻量的 R 工具。

  1. 如果RevoScaleR包已加载,则运行此 R 代码行:

    library("RevoScaleR")
    

    引号是可选的在这种情况下,尽管建议。

    如果遇到错误,请确保你的 R 开发环境正在使用的库中包含的 RevoScaleR 包。 使用命令如.libPaths()若要查看当前的库路径。

  2. 为 SQL Server 创建连接字符串并将其保存在一个 R 变量_connStr_。

    connStr <- "Driver=SQL Server;Server=your_server_name;Database=nyctaxi_sample;Uid=your-sql-login;Pwd=your-login-password"
    

    对于服务器名称中,您可能能够使用只是实例名称,或可能需要完全限定的名称,具体取决于你的网络。

    对于 Windows 身份验证的语法是稍有不同:

    connStr <- "Driver=SQL Server;Server=your_server_name;Database=nyctaxi_sample;Trusted_Connection=True"
    

    供下载的 R 脚本仅使用 SQL 登录名。 通常情况下,我们建议在可能的情况,以避免将密码保存在 R 代码中使用 Windows 身份验证。 但是,若要确保在本教程中的代码匹配从 Github 下载的代码,我们将为本演练的其余部分使用 SQL 登录名。

  3. 定义要用于创建一个新的变量计算上下文。 创建计算上下文对象后,可用于 SQL Server 实例上运行 R 代码。

    sqlShareDir <- paste("C:\\AllShare\\",Sys.getenv("USERNAME"),sep="")
    sqlWait <- TRUE
    sqlConsoleOutput <- FALSE
    
    • 在工作站和 SQL Server 计算机之间来回序列化 R 对象时,R 会使用临时目录。 可指定用作 sqlShareDir 的本地目录,或者接受默认目录。

    • 使用sqlWait以指示您是否要 R 等待来自服务器的结果。 等待作业与非等待作业的讨论,请参阅分布式计算和使用 Microsoft R 中的 ScaleR 的并行计算。

    • 使用参数sqlConsoleOutput以指示您不想要查看从 R 控制台的输出。

  4. 在调用RxInSqlServer构造函数来创建计算上下文对象的变量和连接字符串已定义,并将新对象保存在 R 变量sqlcc。

    sqlcc <- RxInSqlServer(connectionString = connStr, shareDir = sqlShareDir, wait = sqlWait, consoleOutput = sqlConsoleOutput)
    
  5. 默认情况下,计算上下文位于本地,因此需要显式设置active计算上下文。

    rxSetComputeContext(sqlcc)
    
    • rxSetComputeContext 会无形返回先前活动的计算上下文,使其可供使用
    • rxGetComputeContext 返回活动的计算上下文

    请注意,设置计算上下文仅影响使用 RevoScaleR 包中的函数的操作;该计算上下文不会影响开源代码 R 操作的执行方式。

创建使用 RxSqlServer 数据源

在 Microsoft R数据源是使用 RevoScaleR 函数创建的对象。 数据源对象指定某些想要使用的一个任务,例如模型训练或特征提取的数据的集。 你可以从各种源; 获取数据当前支持的源的列表,请参阅RxDataSource。

前面定义连接字符串,并在一个 R 变量中保存该信息。 您可以重新使用该连接信息以指定的数据要获取。

  1. 将 SQL 查询保存为一个字符串变量。 查询定义用于定型模型的数据。

    sampleDataQuery <- "SELECT TOP 1000 tipped, fare_amount, passenger_count,trip_time_in_secs,trip_distance, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude FROM nyctaxi_sample"
    

    我们使用了 TOP 子句来使操作运行得更快,但由查询返回的实际行根据顺序可能有所不同。 因此,摘要结果也可能不同于下面所列。 可以删除 TOP 子句。

  2. 将查询定义作为参数传递到 RxSqlServerData 函数。

    inDataSource <- RxSqlServerData(
      sqlQuery = sampleDataQuery,
      connectionString = connStr,
      colClasses = c(pickup_longitude = "numeric", pickup_latitude = "numeric",
      dropoff_longitude = "numeric", dropoff_latitude = "numeric"),
      rowsPerRead=500
      )
    
    • colClasses 参数指定在 SQL Server 和 R 间移动数据时要使用的列类型。这一点非常主要,因为 SQL Server 使用的数据类型不同于 R,且使用的数据类型更多。 有关详细信息,请参阅R 库和数据类型。

    • 自变量rowsPerRead对于管理内存使用率和高效计算非常重要。 R Services(数据库内) 中大多数增强的分析函数都可以处理区块中的数据并累积中间结果,并在读取所有的数据后返回最终的计算。 通过添加rowsPerRead参数,可以控制数据的行数读入每个区块中进行处理。 如果此参数的值太大,则数据访问可能很慢,因为没有足够的内存来有效地处理如此大型的数据区块。 在某些系统中,设置rowsPerRead为过小的值还可以提供性能下降。

  3. 此时,已创建inDataSource对象,但它不包含任何数据。 数据才会被提取的 SQL 查询从本地环境到如运行函数之后,才能rxImport或rxSummary。

    但是,现在,已定义的数据对象,您可以使用它作为其他函数的参数。

使用 R 摘要中的 SQL Server 数据

在本部分中,你将尝试中提供的函数的几个R Services(数据库内)支持远程计算上下文。 通过将 R 函数应用到数据源,可以浏览、 总结和绘制SQL Server数据。

  1. 调用函数rxGetVarInfo以获取中的数据源及其数据类型的变量的列表。

    rxGetVarInfo是一个便捷函数; 您可以在任何数据帧上调用它或的远程数据对象中的数据集中,以获取信息,例如最大值和最小值,数据类型和因子列中的级别数。

    请考虑在进行任何类型的数据输入、功能转换或功能工程后运行此函数。 通过执行此操作,可以确保所有想要使用它在模型中的功能都是所需的数据类型,并避免错误。

    rxGetVarInfo(data = inDataSource)
    

    结果

    Var 1: tipped, Type: integer
    Var 2: fare_amount, Type: numeric
    Var 3: passenger_count, Type: integer
    Var 4: trip_time_in_secs, Type: numeric, Storage: int64
    Var 5: trip_distance, Type: numeric
    Var 6: pickup_datetime, Type: character
    Var 7: dropoff_datetime, Type: character
    Var 8: pickup_longitude, Type: numeric
    Var 9: pickup_latitude, Type: numeric
    Var 10: dropoff_longitude, Type: numeric
    
  2. 现在,调用 RevoScaleR 函数rxSummary以获取有关各个变量的详细统计信息。

    rxSummary 基于 Rsummary函数,但有一些其他功能和优点。 rxSummary 在多个计算上下文中并支持分块。 此外可以使用 rxSummary 来转换值,或汇总基于的因素级别。

    在此示例中,您可以汇总基于乘客数量为费用金额。

    start.time <- proc.time()
    rxSummary(~fare_amount:F(passenger_count,1,6), data = inDataSource)
    used.time <- proc.time() - start.time
    print(paste("It takes CPU Time=", round(used.time[1]+used.time[2],2)," seconds,
      Elapsed Time=", round(used.time[3],2),
      " seconds to summarize the inDataSource.", sep=""))
    
    • RxSummary 的第一个参数指定的公式或字词汇总方式。 在这里,F()函数用于中的值转换为_乘客_计数_为之前汇总的因素。 您还必须指定的最小值 (1) 和最大值 (6) 用于_乘客_计数_因子变量。
    • 如果未指定要输出的统计信息,默认情况下 rxSummary 输出平均值、 StDev、 Min、 Max 和有效且缺失的观察值。
    • 本示例中也包括跟踪函数开始时间和完成时间的代码,以便可以比较性能。

    结果

    如果 rxSummary 函数成功运行,应看到如下,结果按类别后跟的统计信息列表。

    rxSummary(formula = ~fare_amount:F(passenger_count, 1,6), data = inDataSource)
    Data: inDataSource (RxSqlServerData Data Source)
    Number of valid observations: 1000
    

对大数据的附加练习

请尝试定义的所有行的新查询字符串。 我们建议你设置新的数据源对象对于此试验。 您还可以尝试更改rowsToRead参数,以查看它如何影响吞吐量。

bigDataQuery  <- "SELECT tipped, fare_amount, passenger_count,trip_time_in_secs,trip_distance, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude FROM nyctaxi_sample"

bigDataSource <- RxSqlServerData(
      sqlQuery = bigDataQuery,
      connectionString = connStr,
      colClasses = c(pickup_longitude = "numeric", pickup_latitude = "numeric",
      dropoff_longitude = "numeric", dropoff_latitude = "numeric"),
      rowsPerRead=500
      )

start.time <- proc.time()
rxSummary(~fare_amount:F(passenger_count,1,6), data = bigDataSource)
used.time <- proc.time() - start.time
print(paste("It takes CPU Time=", round(used.time[1]+used.time[2],2)," seconds,
  Elapsed Time=", round(used.time[3],2),
  " seconds to summarize the inDataSource.", sep=""))

Tip: 在此运行时,可以使用之类的工具Process Explorer或使用 SQL Server 服务运行 SQL Profiler,若要查看如何建立连接和 R 代码。

另一个选项是监视使用这些 SQL Server 上运行的 R 作业自定义报表。

下一课

使用 R 创建图形和绘图

上一课

使用 SQL 探索数据

历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者(原始作者元数据 HeidiSteen)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站展开固定版本仓库内的引用内容,将 Markdown 转为 HTML,规范化链接,移除外部媒体、发布器占位标签和导航标记。

资料来源与适用范围

资料来源
Microsoft / SQL Server 中文文档历史快照
适用范围
历史中文快照 2018-11-30;详见原文产品版本;文档日期 11/02/2018
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。