大网数据广告活动
.NET 与 C# 开发

保存和加载经过训练的模型

· 52CE 我爱测

了解如何保存和加载经过训练的模型

了解如何在应用程序中保存和加载经过训练的模型。

在整个模型生成过程中,模型位于内存中,并且可以在整个应用程序生命周期中访问。 但是,一旦应用程序停止运行,而模型未在本地或远程的某个位置保存,则无法再访问该模型。 通常情况下,在其他应用程序中训练模型之后,某些时候会使用模型进行推理或重新训练。 因此,存储模型很重要。 使用类似下文详述的数据准备和模型训练管道时,请使用本文档后续部分中介绍的步骤保存和加载模型。 虽然此示例使用线性回归模型,但相同的过程适用于其他 ML.NET 算法。

HousingData[] housingData = new HousingData[]
{
    new HousingData
    {
        Size = 600f,
        HistoricalPrices = new float[] { 100000f ,125000f ,122000f },
        CurrentPrice = 170000f
    },
    new HousingData
    {
        Size = 1000f,
        HistoricalPrices = new float[] { 200000f, 250000f, 230000f },
        CurrentPrice = 225000f
    },
    new HousingData
    {
        Size = 1000f,
        HistoricalPrices = new float[] { 126000f, 130000f, 200000f },
        CurrentPrice = 195000f
    }
};

// Create MLContext
MLContext mlContext = new MLContext();

// Load Data
IDataView data = mlContext.Data.LoadFromEnumerable<HousingData>(housingData);

// Define data preparation estimator
EstimatorChain<RegressionPredictionTransformer<LinearRegressionModelParameters>> pipelineEstimator =
    mlContext.Transforms.Concatenate("Features", new string[] { "Size", "HistoricalPrices" })
        .Append(mlContext.Transforms.NormalizeMinMax("Features"))
        .Append(mlContext.Regression.Trainers.Sdca());

// Train model
ITransformer trainedModel = pipelineEstimator.Fit(data);

// Save model
mlContext.Model.Save(trainedModel, data.Schema, "model.zip");

由于大部分模型和数据准备管道都继承自同一组类,这些组件的保存和加载方法签名相同。 根据用例,可以将数据准备管道和模型合并为单个 EstimatorChain(输出单个 ITransformer),也可将它们分隔,从而为其各自创建单独的 ITransformer。

在本地保存模型

保存模型时,需要以下两项:

  1. 模型的 ITransformer。
  2. ITransformer 预期输入的 DataViewSchema。

训练模型后,通过 Save 方法使用输入数据的 DataViewSchema 将经过训练的模型保存到名为 model.zip 的文件中。

// Save Trained Model
mlContext.Model.Save(trainedModel, data.Schema, "model.zip");

加载本地存储的模型

本地存储的模型可用于其他进程或应用程序,如 ASP.NET Core 和 Serverless Web Applications。 若要了解详细信息,请参阅在 Web API 中使用 ML.NET 和部署 ML.NET 无服务器 Web 应用操作说明文章。

在单独的应用程序或进程中,配合使用 Load 方法和文件路径将经过训练的模型载入应用程序。

//Define DataViewSchema for data preparation pipeline and trained model
DataViewSchema modelSchema;

// Load trained model
ITransformer trainedModel = mlContext.Model.Load("model.zip", out modelSchema);

加载远程存储的模型

若要将存储在远程位置的数据准备管道和模型加载到应用程序中,请使用 Stream,而不要使用 Load 方法中的文件路径。

// Create MLContext
MLContext mlContext = new MLContext();

// Define DataViewSchema and ITransformers
DataViewSchema modelSchema;
ITransformer trainedModel;

// Load data prep pipeline and trained model 
using (HttpClient client = new HttpClient())
{
    Stream modelFile = await client.GetStreamAsync("<YOUR-REMOTE-FILE-LOCATION>");

    trainedModel = mlContext.Model.Load(modelFile, out modelSchema);
}

使用单独的数据准备和模型管道

Note: 使用单独的数据准备和模型训练管道是可选方案。 管道的分离使得用户能够更轻松地检查已学习的模型参数。 对于预测,保存和加载包含数据准备和模型训练操作的单个管道更轻松。

使用单独的数据准备管道和模型时,流程与单个管道相同;但现在需要同时保存和加载两个管道。

给定单独的数据准备和模型训练管道:

// Define data preparation estimator
IEstimator<ITransformer> dataPrepEstimator =
    mlContext.Transforms.Concatenate("Features", new string[] { "Size", "HistoricalPrices" })
        .Append(mlContext.Transforms.NormalizeMinMax("Features"));

// Create data preparation transformer
ITransformer dataPrepTransformer = dataPrepEstimator.Fit(data);

// Define StochasticDualCoordinateAscent regression algorithm estimator
var sdcaEstimator = mlContext.Regression.Trainers.Sdca();

// Pre-process data using data prep operations
IDataView transformedData = dataPrepTransformer.Transform(data);

// Train regression model
RegressionPredictionTransformer<LinearRegressionModelParameters> trainedModel = sdcaEstimator.Fit(transformedData);

保存数据准备管道和经过训练的模型

若要保存数据准备管道和经过训练的模型,请使用以下命令:

// Save Data Prep transformer
mlContext.Model.Save(dataPrepTransformer, data.Schema, "data_preparation_pipeline.zip");

// Save Trained Model
mlContext.Model.Save(trainedModel, transformedData.Schema, "model.zip");

加载数据准备管道和经过训练的模型

在单独的进程或应用程序中,同时加载数据准备管道和经过训练的模型,如下所示:

// Create MLContext
MLContext mlContext = new MLContext();

// Define data preparation and trained model schemas
DataViewSchema dataPrepPipelineSchema, modelSchema;

// Load data preparation pipeline and trained model
ITransformer dataPrepPipeline = mlContext.Model.Load("data_preparation_pipeline.zip",out dataPrepPipelineSchema);
ITransformer trainedModel = mlContext.Model.Load("model.zip", out modelSchema);

历史资料。此文对应 2019-08-18 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者(原始作者元数据 luisquintanilla)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。

资料来源与适用范围

资料来源
Microsoft / .NET 中文文档历史快照
适用范围
历史中文快照 2019-08-18;详见原文产品版本;文档日期 05/03/2019
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。