提供了数据加载到 SQL Server 并行数据仓库,通过使用 SQL Server Integration Services (SSIS) 包的引用和部署信息。
基础知识
Integration Services 是高性能提取、 转换和加载 (ETL) 的数据,SQL Server 组件和通常用于填充和更新数据仓库。
PDW 目标适配器是可让您通过使用 Integration Services dtsx 包将数据加载到 PDW 的 Integration Services 组件。 中的 SQL ServerPDW 包工作流,可以加载并合并来自多个源的数据和将数据加载到多个目标。 加载将在包内和同时运行的多个包中并行发生,直到在同一工具上并行运行最多 10 个加载。
除了本主题中所述的任务,可以使用的 Integration Services 的其他功能来筛选、 转换、 分析并加载到数据仓库之前清理您的数据。 还可以通过运行 SQL 语句、运行子包或发送电子邮件,增强包的工作流。
Integration Services 的完整文档,请参阅SQL Server Integration Services。
用于运行 Integration Services 包的方法
使用下列方法之一运行 Integration Services 包。
从 SQL Server 2008 R2 Business Intelligence Development Studio (BIDS) 中运行
若要运行中的包在 BIDS 中,右键单击包,然后选择执行包。
默认情况下,BIDS 运行使用 64 位二进制文件的包。 这由Run64BitRuntime包属性。 若要设置此属性,请转到解决方案资源管理器,右键单击项目,然后选择属性。 上Integration Services 属性页,请转到配置属性,然后选择调试。 你将看到Run64BitRuntime下的属性调试选项。 若要使用 32 位运行时,请将此设置为False。 若要使用 64 位运行时,请将此设置为 ,则返回 True。
运行从 SQL Server 2012 SQL Server 数据工具
若要运行 SQL Server Data Tools 中的包,右键单击您的包,然后选择执行包。
从 PowerShell 运行
若要从 Windows PowerShell 中运行包使用dtexec实用程序: dtexec /FILE <packagePath>
例如: dtexec /FILE "C:\Users\User1\Desktop\Package.dtsx"
运行从 Windows 命令提示符
若要从 Windows 命令提示符处,运行包使用dtexec实用程序: dtexec /FILE <packagePath>
例如: dtexec /FILE "C:\Users\User1\Desktop\Package.dtsx"
数据类型
当使用 Integration Services 将数据从数据源加载到 SQL Server PDW 数据库,数据首先映射源数据中到 Integration Services 数据类型。 这允许来自多个数据源的数据映射到一组通用的数据类型。
然后将数据从 Integration Services 映射到 SQL Server PDW 数据类型。 对于每个 SQL Server PDW 数据类型下, 表列出了可以转换为 SQL Server PDW 数据类型的 Integration Services 数据类型。
| PDW 数据类型 | 映射到 PDW 数据类型的 integration Services 数据类型 (s) |
|---|---|
| BIT | DT_BOOL |
| bigint | DT_I1、DT_I2、DT_I4、DT_I8、DT_UI1、DT_UI2、DT_UI4 |
| CHAR | DT_STR |
| DATE | DT_DBDATE |
| DATETIME | DT_DATE、DT_DBDATE、DT_DBTIMESTAMP、DT_DBTIMESTAMP2 |
| DATETIME2 | DT_DATE、DT_DBDATE、DT_DBTIMESTAMP、DT_DBTIMESTAMP2 |
| DATETIMEOFFSET | DT_WSTR |
| DECIMAL | DT_DECIMAL、DT_I1、DT_I2、DT_I4、DT_I4、DT_I8、DT_NUMERIC、DT_UI1、DT_UI2、DT_UI4、DT_UI8 |
| FLOAT | DT_R4、DT_R8 |
| INT | DT_I1、DTI2、DT_I4、DT_UI1、DT_UI2 |
| MONEY | DT_CY |
| NCHAR | DT_WSTR |
| NUMERIC | DT_DECIMAL、DT_I1、DT_I2、DT_I4、DT_I8、DT_NUMERIC、DT_UI1、DT_UI2、DT_UI4、DT_UI8 |
| NVARCHAR | DT_WSTR、DT_STR |
| real | DT_R4 |
| SMALLDATETIME | DT_DBTIMESTAMP2 |
| SMALLINT | DT_I1、DT_I2、DT_UI1 |
| SMALLMONEY | DT_R4 |
| TIME | DT_WSTR |
| TINYINT | DT_I1 |
| VARBINARY | DT_BYTES |
| VARCHAR | DT_STR |
对数据类型精度的有限的支持
PDW 生成验证错误,如果映射包含的值的精度大于 28 的 DT_NUMERIC 或 DT_DECIMAL 输入的列。
不支持的数据类型
SQL Server PDW 不支持以下 Integration Services 数据类型:
-
DT_DBTIMESTAMPOFFSET
-
DT_DBTIME2
-
DT_GUID
-
DT_IMAGE
-
DT_NTEXT
-
DT_TEXT
若要加载到 SQL Server PDW 中包含这些类型的数据的列,必须将数据转换为兼容的数据类型的数据流中添加数据转换上游组件。
Permissions
若要运行 Integration Services 加载包,需要:
-
加载数据库的权限。
-
适用的插入、 更新和删除目标表的权限。
-
如果使用临时数据库,则将在临时数据库创建权限。 这是用于创建临时表。
-
如果不使用任何临时数据库,则在目标数据库上的创建权限。 这是用于创建临时表。
一般备注
当 Integration Services 包具有多个运行的 SQL Server PDW 目标,并且其中一个连接将终止时,则将停止 Integration Services 将数据推送到每个 SQL Server PDW 目标。
限制和局限
为 Integration Services 包,相同的数据源的 SQL Server PDW 目标数受 active 加载的最大数目。 该最大值是预先配置的,用户不可配置。
运行包时,相同的数据源每个 Integration Services 包目标将计为一个负载。 例如,假定处于活动状态的加载的最大数目为 10。 如果该包尝试为相同数据源打开 11 个或更多的目标,则该包将不运行。
多个包可以同时运行,只要每个包所使用的处于活动状态的加载数目未超过该最大数目。 例如,如果处于活动状态的加载的最大数目为 10,则您可以同时运行两个包,每个包使用 10 个目标。 在一个包运行时,另一个包在加载队列中等待。
如果加载队列中加载的数目超过排队的最大加载数,则该包将不运行。 例如,如果加载的最大数目为 10,每个设备,并且排队的加载的最大数目为 40,每个设备,你可以同时运行五个 Integration Services 包的每个打开 10 个目标。 如果您尝试运行第 6 个包,该包将不会运行。
Important: 如果源表包含 char 和 varchar 列的 SQL 排序规则,则使用 PDW 目标适配器在 SSIS 中的 OLE DB 数据源,可能导致数据损坏。 我们建议使用 ADO.NET 源,如果源表包含 char 或 varchar 列的 SQL 排序规则。
锁定行为
在加载时使用 Integration Services 的数据,SQL ServerPDW 使用行级锁更新目标表中的数据。 这意味着,在更新每一行时,对于读取和写入操作,将锁定每一行。 在数据加载到临时表中时,将不锁定目标表中的行。
示例
一个。 从平面文件的简单负载
下面的演练演示如何将 Integration Services 将平面文件数据加载到 SQL Server PDW 设备使用简单的数据负载。 此示例假定已在客户端计算机上安装集成服务,并且已安装 SQL Server PDW 目标,如上文所述。
在此示例中我们将加载到Orders表,该表具有以下 DDL。 Orders表属于LoadExampleDB数据库。
CREATE TABLE LoadExampleDB.dbo.Orders (
id INT,
city varchar(25),
lastUpdateDate DATE,
orderDate DATE)
;
下面是加载数据:
id city lastUpdateDate orderdate
--------- -------------- ------------------ ----------
1 Seattle 2010-05-01 2010-01-01
2 Denver 2002-06-25 1999-01-02
在负载的准备,创建平面文件exampleLoad.txt,其中包含加载数据:
id,city,lastUpdateDate,orderDate
1,Seattle,2010-05-01,2010-01-01
2,Denver,2002-06-25,1999-01-02
首先,创建 Integration Services 包通过执行下列步骤:
-
在 SQL Server Data Tools (SSDT),选择文件,新建,然后项目。 选择Integration Services 项目从列出的选项。 此项目命名为
ExampleLoad,然后单击确定。 -
单击控制流选项卡,然后将数据流任务从工具箱到控制流窗格。
-
单击Data Flow选项卡,然后将平面文件源从工具箱到数据流窗格。 双击打开刚刚创建的框平面文件源编辑器。
-
单击连接管理器,然后单击新建。
-
在中连接管理器名称框中,输入连接的友好名称。 此示例中,为
Example Load Flat File CM。 -
单击浏览,然后选择
ExampleLoad.txt文件从本地计算机。 -
由于平面文件包含具有列名称的行,请单击中第一个数据行的列名称框。
-
单击列左侧的列和预览中的数据将加载以确保列名称和数据已正确解释。
-
单击高级左侧列中。 单击每个列名称,若要查看已与数据关联的数据类型。 在框中键入更改,以便加载的数据的数据类型将与目标列类型兼容。
-
单击确定保存连接管理器。
-
单击确定退出平面文件源编辑器。
指定数据流的目标。
-
拖动SQL Server PDW 目标从工具箱到数据流窗格。
-
双击刚创建要加载的框SQL Server PDW 目标编辑器。
-
单击向下箭头旁边连接管理器。
-
选择创建新的连接。
-
填写 server、 用户、 密码和目标数据库的信息特定于你的设备的信息。 (示例所示)。 再单击 “确定”。
对于 InfiniBand 连接,请服务器名称: 输入 < 设备名称 >-SQLCTL01,17001。
为以太网连接服务器名称: 输入的控制节点的群集、 逗号、 端口 17001 的 IP 地址。 例如,10.192.63.134,17001。
用户:
user1密码:
password1目标数据库:
LoadExampleDB -
选择目标表:
Orders。 -
选择追加作为加载模式,然后单击确定。
指定数据流从源到目标。
-
上Data Flow窗格中,将从绿色箭头拖动平面文件源框SQL Server PDW 目标框。
-
双击SQL Server PDW 目标框,以便看到SQL Server PDW 目标编辑器试。 您应看到在左侧,平面文件中的列名称下未映射的输入列。 您应查看目标表中的列名称在右侧,在未映射的目标列。 通过拖动或双击中的匹配列名称映射的列未映射的输入列并未映射的目标列还列出了映射的列框。 单击确定以保存设置。
-
通过单击保存包保存中文件菜单。
Integration Services 在计算机上运行包。
-
在 Integration Services解决方案资源管理器(右列) 中,右键单击
Package.dtsx,然后选择Execute。 -
包的运行时间以及上将显示进度以及任何错误进度窗格。 使用 SQL 客户端确认负载,或监视 SQL Server PDW 管理控制台通过负载。
请参阅
创建一个脚本任务,使用 SSIS PDW 目标适配器
SQL Server Integration Services
设计和实现包 (Integration Services)
教程: 创建基本包使用向导
入门 (Integration Services)
动态程序包生成示例
设计 SSIS 包以实现并发性 (SQL Server 视频)
Microsoft SQL Server 社区示例: Integration Services
通过变更数据捕获改善增量加载
渐变维度转换
大容量插入任务
历史资料。此文对应 2018-11-30 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者(原始作者元数据 mzaman1)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。
