大网数据广告活动
.NET 与 C# 开发

如何使用 ML.NET 自动化 ML API

· 52CE 我爱测

ML.NET 自动化 ML API 可自动化模型生成过程并生成可供部署的模型。 了解可用于配置自动化机器学习任务的选项。

自动化机器学习 (AutoML) 可自动化将机器学习应用于数据的过程。 在给定数据集的情况下,可以运行 AutoML 试验来迭代不同的数据特征、机器学习算法和超参数,从而选择最佳模型。

Note: 本主题涉及 ML.NET 目前处于预览状态的自动化机器学习 API。 材料可能会有所变化。

加载数据

自动化机器学习支持将数据集加载到 IDataView 中。 数据可以采用制表符分隔值 (TSV) 文件和逗号分隔值 (CSV) 文件的形式。

示例:

using Microsoft.ML;
using Microsoft.ML.AutoML;
    ...
    MLContext mlContext = new MLContext();
    IDataView trainDataView = mlContext.Data.LoadFromTextFile<SentimentIssue>("my-data-file.csv", hasHeader: true);

选择机器学习任务类型

在创建试验之前,请确定想要解决的机器学习问题的类型。 自动化机器学习支持以下 ML 任务:

  • 二元分类
  • 多类分类
  • 回归测试

创建试验设置

为确定的 ML 任务类型创建试验设置:

  • 二元分类

    var experimentSettings = new BinaryExperimentSettings();
    
  • 多类分类

    var experimentSettings = new MulticlassExperimentSettings();
    
  • 回归测试

    var experimentSettings = new RegressionExperimentSettings();
    

配置试验设置

试验具有高度可配置性。 有关配置设置的完整列表,请参阅 AutoML API 文档。

一些示例包括:

  1. 指定试验的最长允许运行时间。

    experimentSettings.MaxExperimentTimeInSeconds = 3600;
    
  2. 在试验的计划完成时间之前,使用取消令牌取消试验。

    experimentSettings.CancellationToken = cts.Token;
    
    // Cancel experiment after the user presses any key
    CancelExperimentAfterAnyKeyPress(cts);
    
  3. 指定其他优化指标。

    var experimentSettings = new RegressionExperimentSettings();
    experimentSettings.OptimizingMetric = RegressionMetric.MeanSquaredError;
    
  4. CacheDirectory 设置是指向目录的指针,执行 AutoML 任务期间训练的所有模型都将保存在该目录中。 如果 CacheDirectory 设置为 null,则模型将保留在内存中,而不是写入磁盘。

    experimentSettings.CacheDirectory = null;
    
  5. 指示自动化 ML 不要使用特定训练程序。

    将根据每个任务探索待优化训练程序的默认列表。 此列表可以针对每个试验进行修改。 例如,可以从列表中删除在数据集上运行缓慢的训练程序。 若要优化一个特定的训练程序,请调用 experimentSettings.Trainers.Clear(),然后添加想要使用的训练程序。

    var experimentSettings = new RegressionExperimentSettings();
    experimentSettings.Trainers.Remove(RegressionTrainer.LbfgsPoissonRegression);
    experimentSettings.Trainers.Remove(RegressionTrainer.OnlineGradientDescent);
    

每个 ML 任务支持的训练程序的列表可在以下相应链接中找到:

优化指标

如以上示例所示,优化指标可确定在模型训练期间要优化的指标。 可以选择的优化指标由选择的任务类型决定。 以下是可用指标的列表。

二元分类 多类分类 回归
准确性 LogLoss RSquared
AreaUnderPrecisionRecallCurve LogLossReduction MeanAbsoluteError
AreaUnderRocCurve MacroAccuracy MeanSquaredError
F1Score MicroAccuracy RootMeanSquaredError
NegativePrecision TopKAccuracy
NegativeRecall
PositivePrecision
PositiveRecall

数据预处理和特征化

默认情况下会进行数据预处理,并会自动执行以下步骤:

  1. 删除没有有用信息的特征

    删除没有来自训练集和验证集的有用信息的特征。 其中包括缺少所有值的特征、所有行具有相同值的特征或具有极高基数的特征(例如,哈希、ID 或 GUID)。

  2. 缺少值指示和插补

    使用数据类型的默认值填充缺少值的单元格。 使用与输入列数量相同的插槽数追加指示特征。 如果输入列中缺少值,则追加的指示特征中的值为 1,否则为 0。

  3. 生成其他特征

    对于文本特征:使用一元语法和三元语法的词袋特征。

    对于分类特征:用于低基数特征的单热编码,以及用于高基数分类特征的单热哈希编码。

  4. 转换和编码

    具有极少唯一值的文本特征转换为分类特征。 根据分类特征的基数,执行单热编码或单热哈希编码。

退出条件

定义完成任务的条件:

  1. 一段时间后退出 - 通过在试验设置中使用 MaxExperimentTimeInSeconds,可以定义任务应持续运行的时长(以秒为单位)。

  2. 收到取消令牌时退出 - 可以使用取消令牌,以便在任务的计划完成时间之前取消该任务。

    var cts = new CancellationTokenSource();
    var experimentSettings = new RegressionExperimentSettings();
    experimentSettings.MaxExperimentTimeInSeconds = 3600;
    experimentSettings.CancellationToken = cts.Token;
    

创建试验

配置试验设置后,即可创建试验。

RegressionExperiment experiment = mlContext.Auto().CreateRegressionExperiment(experimentSettings);

运行试验

运行试验会触发数据预处理、学习算法选择和超参数调整。 AutoML 将继续生成特征化、学习算法和超参数的组合,直到达到 MaxExperimentTimeInSeconds 或试验终止。

ExperimentResult<RegressionMetrics> experimentResult = experiment
    .Execute(trainingDataView, LabelColumnName, progressHandler: progressHandler);

如果想要传入验证数据、指示列目的的列信息或特征预提取器,请探索 Execute() 的其他重载。

训练模式

训练数据集

AutoML 提供重载试验执行方法,该方法允许提供训练数据。 在内部,自动化 ML 将数据划分为训练-验证拆分。

experiment.Execute(trainDataView);   

自定义验证数据集

如果随机拆分不可接受(时序数据通常如此),则使用自定义验证数据集。 可以指定自己的验证数据集。 将根据指定的验证数据集而不是一个或多个随机数据集评估模型。

experiment.Execute(trainDataView, validationDataView);   

探索模型指标

在 ML 试验的每次迭代后,系统会存储与该任务相关的指标。

例如,我们可以从最佳运行中访问验证指标:

RegressionMetrics metrics = experimentResult.BestRun.ValidationMetrics;
Console.WriteLine($"R-Squared: {metrics.RSquared:0.##}");
Console.WriteLine($"Root Mean Squared Error: {metrics.RootMeanSquaredError:0.##}");

以下是每个 ML 任务的所有可用指标:

请参阅

有关完整的代码示例等,请访问 dotnet/machinelearning-samples GitHub 存储库。

历史资料。此文对应 2019-08-18 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。

资料来源与适用范围

资料来源
Microsoft / .NET 中文文档历史快照
适用范围
历史中文快照 2019-08-18;详见原文产品版本;文档日期 04/24/2019
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。