大网数据广告活动
.NET 与 C# 开发

从文件和其他源加载数据

· 52CE 我爱测

本操作说明演示如何将数据加载到 ML.NET 中进行处理和训练。 最初存储在文件或其他数据源(例如数据库、JSON、XML 或内存中集合)中的数据。

本操作说明演示如何将数据加载到 ML.NET 中进行处理和训练。 最初存储在文件或其他数据源(例如数据库、JSON、XML 或内存中集合)中的数据。

创建数据模型

ML.NET 允许通过类定义数据模型。 例如,给定以下输入数据:

Size (Sq. ft.), HistoricalPrice1 ($), HistoricalPrice2 ($), HistoricalPrice3 ($), Current Price ($)
700, 100000, 3000000, 250000, 500000
1000, 600000, 400000, 650000, 700000

创建一个表示以下代码片段的数据模型:

public class HousingData
{
    [LoadColumn(0)]
    public float Size { get; set; }
 
    [LoadColumn(1, 3)]
    [VectorType(3)]
    public float[] HistoricalPrices { get; set; }

    [LoadColumn(4)]
    [ColumnName("Label")]
    public float CurrentPrice { get; set; }
}

使用列特性注释数据模型

特性为 ML.NET 提供有关数据模型和数据源的详细信息。

LoadColumn 特性指定属性的列索引。

Important: 只有从文件加载数据时才需要 LoadColumn。

将列加载为:

  • 单个列,例如 HousingData 类中的 Size 和 CurrentPrices。
  • 以向量的形式一次加载多个列,例如 HousingData 类中的 HistoricalPrices。

如果有一个向量属性,请在数据模型中向该属性应用 VectorType 特性。 请务必注意,向量中的所有元素必须为相同的类型。 保持列与列之间的分隔状态可以提高特征工程的易用性和灵活性,但是对于非常多的列,在单个列上操作会对训练速度产生影响。

ML.NET 通过列名称进行操作。 如果要将某个列的名称更改为该属性名称以外的其他名称,请使用 ColumnName 特性。 创建内存中对象时,仍然使用该属性名称创建对象。 但是,对于数据处理和生成机器学习模型,ML.NET 使用 ColumnName 特性中提供的值覆盖并引用该属性。

从单个文件加载数据

若要从文件加载数据,请使用 LoadFromTextFile 方法以及要加载的数据的数据模型。 由于 separatorChar 参数默认为制表符分隔,因此请根据需要为数据文件更改该参数。 如果文件有标头,请将 hasHeader 参数设置为 true,以忽略文件中的第一行并开始从第二行加载数据。

//Create MLContext
MLContext mlContext = new MLContext();

//Load Data
IDataView data = mlContext.Data.LoadFromTextFile<HousingData>("my-data-file.csv", separatorChar: ',', hasHeader: true);

从多个文件加载数据

如果数据存储在多个文件中,只要数据架构相同,ML.NET 就允许从同一目录或多个目录中的多个文件加载数据。

从单个目录中的文件加载

当所有数据文件位于同一目录中时,请在 LoadFromTextFile 方法中使用通配符。

//Create MLContext
MLContext mlContext = new MLContext();

//Load Data File
IDataView data = mlContext.Data.LoadFromTextFile<HousingData>("Data/*", separatorChar: ',', hasHeader: true);

从多个目录中的文件加载

若要从多个目录加载数据,请使用 CreateTextLoader 方法创建 TextLoader。 然后,使用 TextLoader.Load 方法并指定单个文件路径(不能使用通配符)。

//Create MLContext
MLContext mlContext = new MLContext();

// Create TextLoader
TextLoader textLoader = mlContext.Data.CreateTextLoader<HousingData>(separatorChar: ',', hasHeader: true);

// Load Data
IDataView data = textLoader.Load("DataFolder/SubFolder1/1.txt", "DataFolder/SubFolder2/1.txt");

从其他源加载数据

除了加载存储在文件中的数据外,ML.NET 还支持从各种源加载数据,这些源包括但不限于:

  • 内存中集合
  • JSON/XML
  • 数据库

请注意,在使用流式处理源时,ML.NET 预计输入采用内存中集合的形式。 因此,在使用 JSON/XML 等源时,请确保将数据格式化为内存中集合。

给定以下内存中集合:

HousingData[] inMemoryCollection = new HousingData[]
{
    new HousingData
    {
        Size =700f,
        HistoricalPrices = new float[]
        {
            100000f, 3000000f, 250000f
        },
        CurrentPrice = 500000f
    },
    new HousingData
    {
        Size =1000f,
        HistoricalPrices = new float[]
        {
            600000f, 400000f, 650000f
        },
        CurrentPrice=700000f
    }
};

使用 LoadFromEnumerable 方法将内存中集合加载到 IDataView 中:

Important: LoadFromEnumerable 假定其所加载的 IEnumerable 是线程安全的。

// Create MLContext
MLContext mlContext = new MLContext();

//Load Data
IDataView data = mlContext.Data.LoadFromEnumerable<HousingData>(inMemoryCollection);

历史资料。此文对应 2019-08-18 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。

资料来源与适用范围

资料来源
Microsoft / .NET 中文文档历史快照
适用范围
历史中文快照 2019-08-18;详见原文产品版本;文档日期 08/01/2019
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。