自动化机器学习 (AutoML) 可自动化将机器学习应用于数据的过程。 在给定数据集的情况下,可以运行 AutoML 试验来迭代不同的数据特征、机器学习算法和超参数,从而选择最佳模型。
Note: 本主题涉及 ML.NET 目前处于预览状态的自动化机器学习 API。 材料可能会有所变化。
加载数据
自动化机器学习支持将数据集加载到 IDataView 中。 数据可以采用制表符分隔值 (TSV) 文件和逗号分隔值 (CSV) 文件的形式。
示例:
using Microsoft.ML;
using Microsoft.ML.AutoML;
...
MLContext mlContext = new MLContext();
IDataView trainDataView = mlContext.Data.LoadFromTextFile<SentimentIssue>("my-data-file.csv", hasHeader: true);
选择机器学习任务类型
在创建试验之前,请确定想要解决的机器学习问题的类型。 自动化机器学习支持以下 ML 任务:
- 二元分类
- 多类分类
- 回归测试
创建试验设置
为确定的 ML 任务类型创建试验设置:
-
二元分类
var experimentSettings = new BinaryExperimentSettings(); -
多类分类
var experimentSettings = new MulticlassExperimentSettings(); -
回归测试
var experimentSettings = new RegressionExperimentSettings();
配置试验设置
试验具有高度可配置性。 有关配置设置的完整列表,请参阅 AutoML API 文档。
一些示例包括:
-
指定试验的最长允许运行时间。
experimentSettings.MaxExperimentTimeInSeconds = 3600; -
在试验的计划完成时间之前,使用取消令牌取消试验。
experimentSettings.CancellationToken = cts.Token; // Cancel experiment after the user presses any key CancelExperimentAfterAnyKeyPress(cts); -
指定其他优化指标。
var experimentSettings = new RegressionExperimentSettings(); experimentSettings.OptimizingMetric = RegressionMetric.MeanSquaredError; -
CacheDirectory设置是指向目录的指针,执行 AutoML 任务期间训练的所有模型都将保存在该目录中。 如果CacheDirectory设置为 null,则模型将保留在内存中,而不是写入磁盘。experimentSettings.CacheDirectory = null; -
指示自动化 ML 不要使用特定训练程序。
将根据每个任务探索待优化训练程序的默认列表。 此列表可以针对每个试验进行修改。 例如,可以从列表中删除在数据集上运行缓慢的训练程序。 若要优化一个特定的训练程序,请调用
experimentSettings.Trainers.Clear(),然后添加想要使用的训练程序。var experimentSettings = new RegressionExperimentSettings(); experimentSettings.Trainers.Remove(RegressionTrainer.LbfgsPoissonRegression); experimentSettings.Trainers.Remove(RegressionTrainer.OnlineGradientDescent);
每个 ML 任务支持的训练程序的列表可在以下相应链接中找到:
优化指标
如以上示例所示,优化指标可确定在模型训练期间要优化的指标。 可以选择的优化指标由选择的任务类型决定。 以下是可用指标的列表。
| 二元分类 | 多类分类 | 回归 |
|---|---|---|
| 准确性 | LogLoss | RSquared |
| AreaUnderPrecisionRecallCurve | LogLossReduction | MeanAbsoluteError |
| AreaUnderRocCurve | MacroAccuracy | MeanSquaredError |
| F1Score | MicroAccuracy | RootMeanSquaredError |
| NegativePrecision | TopKAccuracy | |
| NegativeRecall | ||
| PositivePrecision | ||
| PositiveRecall |
数据预处理和特征化
默认情况下会进行数据预处理,并会自动执行以下步骤:
-
删除没有有用信息的特征
删除没有来自训练集和验证集的有用信息的特征。 其中包括缺少所有值的特征、所有行具有相同值的特征或具有极高基数的特征(例如,哈希、ID 或 GUID)。
-
缺少值指示和插补
使用数据类型的默认值填充缺少值的单元格。 使用与输入列数量相同的插槽数追加指示特征。 如果输入列中缺少值,则追加的指示特征中的值为
1,否则为0。 -
生成其他特征
对于文本特征:使用一元语法和三元语法的词袋特征。
对于分类特征:用于低基数特征的单热编码,以及用于高基数分类特征的单热哈希编码。
-
转换和编码
具有极少唯一值的文本特征转换为分类特征。 根据分类特征的基数,执行单热编码或单热哈希编码。
退出条件
定义完成任务的条件:
-
一段时间后退出 - 通过在试验设置中使用
MaxExperimentTimeInSeconds,可以定义任务应持续运行的时长(以秒为单位)。 -
收到取消令牌时退出 - 可以使用取消令牌,以便在任务的计划完成时间之前取消该任务。
var cts = new CancellationTokenSource(); var experimentSettings = new RegressionExperimentSettings(); experimentSettings.MaxExperimentTimeInSeconds = 3600; experimentSettings.CancellationToken = cts.Token;
创建试验
配置试验设置后,即可创建试验。
RegressionExperiment experiment = mlContext.Auto().CreateRegressionExperiment(experimentSettings);
运行试验
运行试验会触发数据预处理、学习算法选择和超参数调整。 AutoML 将继续生成特征化、学习算法和超参数的组合,直到达到 MaxExperimentTimeInSeconds 或试验终止。
ExperimentResult<RegressionMetrics> experimentResult = experiment
.Execute(trainingDataView, LabelColumnName, progressHandler: progressHandler);
如果想要传入验证数据、指示列目的的列信息或特征预提取器,请探索 Execute() 的其他重载。
训练模式
训练数据集
AutoML 提供重载试验执行方法,该方法允许提供训练数据。 在内部,自动化 ML 将数据划分为训练-验证拆分。
experiment.Execute(trainDataView);
自定义验证数据集
如果随机拆分不可接受(时序数据通常如此),则使用自定义验证数据集。 可以指定自己的验证数据集。 将根据指定的验证数据集而不是一个或多个随机数据集评估模型。
experiment.Execute(trainDataView, validationDataView);
探索模型指标
在 ML 试验的每次迭代后,系统会存储与该任务相关的指标。
例如,我们可以从最佳运行中访问验证指标:
RegressionMetrics metrics = experimentResult.BestRun.ValidationMetrics;
Console.WriteLine($"R-Squared: {metrics.RSquared:0.##}");
Console.WriteLine($"Root Mean Squared Error: {metrics.RootMeanSquaredError:0.##}");
以下是每个 ML 任务的所有可用指标:
请参阅
有关完整的代码示例等,请访问 dotnet/machinelearning-samples GitHub 存储库。
历史资料。此文对应 2019-08-18 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。
