大网数据广告活动
.NET 与 C# 开发

什么是模型生成器,它的工作原理是怎样的?

· 52CE 我爱测

如何使用 ML.NET 模型生成器自动训练机器学习模型

ML.NET 模型生成器是一个易于理解的图形化 Visual Studio 扩展,用于生成、训练和部署自定义机器学习模型。

模型生成器使用自动化的机器学习 (AutoML) 来探索不同的机器学习算法和设置,以帮助找到最合适的方案。

使用模型生成器不需要具备机器学习的专业知识。 只需要一些数据,和确定要解决的问题。 模型生成器会生成将模型添加到 .NET 应用程序的代码。

模型生成器 Visual Studio 扩展用户界面动画

Note: 模型生成器当前为预览版。

方案

可以为模型生成器提供许多不同的方案,从而为应用程序生成一个机器学习模型。

方案就是要对数据进行的预测类型的描述。 例如:

  • 根据历史销售数据预测未来的产品销量
  • 根据客户评价将情绪分类为正面或负面
  • 检测某项银行交易是否存在欺诈性
  • 将客户反馈问题传递至公司中合适的团队

在模型生成器中,需要将方案映射到 ML.NET 任务上。 可以使用模型生成器进行回归(预测数字)和分类(预测类别) 。

哪个机器学习方案最适合我?

模型生成器带有用于情绪分析、问题分类、价格预测和自定义方案的模板。 这些模板可以作为特定 ML.NET 方案的起点。

情绪分析(二元分类)

情绪分析可用于预测的客户反馈中的正面情绪或负面情绪。 它是一个二元分类任务的例子。

二元分类用于将数据分为两类(是/否;通过/失败;true/false;正面/负面)。 该分类可回答类似于以下的问题:

  • 该电子邮件是否是垃圾邮件? (垃圾邮件检测)
  • 哪些申请者有资格得到成员身份? (申请筛选)
  • 哪些帐户可能不会按时支付发票? (风险缓解)
  • 此信用卡交易是否存在欺诈性? (欺诈检测)

如果方案需要将数据分为两类,可以将该模板与自己的数据集配合使用。

问题分类(多类分类)

问题分类可用于使用问题标题和描述对客户反馈(例如 GitHub 上的反馈)问题进行分类。 它是一个多类分类任务的例子。

多类分类可用于将数据分为三类或更多类。 该分类可回答类似于以下的问题:

  • 我应向哪个部门传递支持票证? (支持票证传递)
  • 客户问题的优先级是什么? (客户问题优先级)
  • 产品属于什么类别? (产品分类)
  • 文档是什么类型? (文档/电子邮件分类)

如果需要将数据分为三类或更多类,可以使用问题分类模板。

价格预测(回归)

价格预测可以通过房屋的位置、大小等特点来预测房价。 它是一个回归任务的例子。

回归用于预测数字。 该分类可回答类似于以下的问题:

  • 一套房屋的售价会是多少? (价格预测)
  • 机械部件将在多长时间以后需要维修? (预测性维护)
  • 这台烘干机的含水量是多少? (机器监控)
  • 此区域的年度销售总额将是多少? (销售预测)

如果要使用自己的数据集预测数字值,可以使用价格预测模板。

自定义方案(选择自己的任务)

使用自定义方案,可以选择自己的任务。 选择对问题最有帮助的方案。

使用自定义方案,可以选择自己的机器学习任务。 在之前介绍的各类模板中,机器学习任务仅限于二元分类、多类分类或回归这三种方案。 在此模板中,可以选择要对自己的数据使用的 ML 任务。

数据

在将方案映射到任务上后,模型生成器会要求你提供数据集。 这些数据用于训练、评估和选择最适合方案的的模型。 还需要选择想预测的输出。

选择要预测的输出(标签)

数据集是一个表格,其中,行中含训练示例,列中含特性。 每一行都具有:

  • 一个标签,即要预测的特性
  • 特征(为预测标签而用作输入的特性) 。

在房价预测方案中,特性可能是:

  • 房屋的面积
  • 卧室和卫生间的数量
  • 邮政编码

标签是与其所属行(包含面积、卧室和卫生间值以及邮政编码信息)对应的历史房价。

表显示房价数据的行和列,其中包含由大小、房间数、邮政编码和价格标签组成的特征

数据格式

模型生成器对数据设有以下限制:

  • 数据必须存储在文件(具有标题行的 .csv 或.tsv 文件)或 SQL server 数据库中。
  • 训练数据集不能超过 1 GB
  • SQL Server 在训练用途上有 100,000 行的限制
  • 在训练之前,将 SQL server 中的数据从服务器复制到本地计算机

示例数据集

如果还没有自己的数据,请试用以下数据集之一:

方案 ML 任务 数据 Label 功能
价格预测 回归 出租车费数据 车费 行程时间、距离
异常情况检测 二元分类 产品销售数据 产品销售额 月份
情绪分析 二元分类 网站评论数据 标签(负面情绪为 0,正面情绪为 1) 评论、年份
欺诈检测 二元分类 信用卡数据 类(存在欺诈性为 1,否则为 0) 金额,V1-V28(匿名处理后的特征)
文本分类 多类分类 GitHub 问题数据 区域 标题、描述

定型

选择方案、数据和标签后,模型生成器会训练该模型。

什么是训练?

训练是一个自动的过程,模型生成器通过该过程教模型如何回答方案相关的问题。 训练后,模型可以对其没有见过的输入数据进行预测。 例如,在预测房价时,可以预测新上市的房屋销售价。

因为模型生成器使用自动机器学习 (AutoML),所以在训练期间不需要任何人工输入或微调操作。

训练时长应为多长时间?

你可以提供一个训练时长。 一般情况下,训练时间越长,生成的模型就越准确。 如果训练用的数据集增大,训练时间也会变长。 关于数据集大小增加和训练时间之间的关系,请参考下表。

数据集大小 数据集类型 平均训练时间
0 - 10 Mb 数值和文本 10 秒
10 - 100 Mb 数值和文本 10 分钟
100 - 500 Mb 数值和文本 30 分钟
500 - 1 Gb 数值和文本 60 分钟
1 Gb 以上 数值和文本 3 小时以上

训练的确切时间还取决于:

  • 列的类型(文本还是数值)
  • 机器学习任务的类型(回归还是分类)
  • 用于训练的行数
  • 用于训练的特征列数

模型生成器已使用 1 TB 的数据集进行了大规模的测试,但为这么大的数据集生成高质量的模型可能需要多达 4 天的时间!

评估

评估是让经过训练的模型对新的测试数据进行预测,然后度量预测效果的过程。

模型生成器将训练数据拆分为训练集和测试集。 训练数据 (80%) 用于训练模型,测试数据 (20%) 用于评估模型。 用于评估的指标取决于 ML 任务。 有关详细信息,请参阅模型评估指标。

情绪分析(二元分类)

二元分类问题的默认指标是“准确性” 。 准确性定义的是模型对测试数据集做出的正确预测的比例。 越接近 100% 越好 。

报告的其他指标,如 AUC(曲线下面积),用于度量真正例率和假正例率之间的比例,在高于 0.50 时,才是可以接受的模型。

此外还有一些其他指标,如 F1 分数,可以用来控制检准率(正确的预测占该类总预测数的比例)和检全率(正确预测占该类总实际成员的比例)之间的平衡。

问题分类(多类分类)

多类分类问题的默认指标是“微观准确性” 。 越接近 100% 越好 。

在将数据分为多个类的问题中,有两种类型的准确性:

  • 微观准确性:所有实例中正确预测的百分比。 在问题分类方案中,微观准确性是分配到正确类别的传入问题的比例。
  • 宏观准确性:在类级别上得出的平均准确性。 在问题分类方案中,会为每个类别测量准确性,然后对各个类别的准确性求平均值。 对于此指标,所有类得到的权重都是相等的。 如果是完全均匀的数据集(即每个类别中的示例数量相等),微观准确性和宏观准确性就是相同的。

价格预测(回归)

回归问题的默认指标是“RSquared” 。 1 是可能达到的最佳值。 RSquared 越接近 1,模型就越好。

报告的其他指标,如绝对损失、平方损失和 RMS 损失,可以用来理解模型,并将其与其他回归模型进行比较。

改进

如果模型性能评分不符合预期,可以:

  • 延长训练时间。 有了更多时间,自动机器学习引擎可以尝试更多算法和设置。

  • 添加更多数据。 有时候可能是数据量不足,无法训练出高质量的机器学习模型。

  • 均衡分配数据。 对于分类任务,请确保在各个类别间均匀分配训练集。 例如,若有四个类别和 100 个训练示例,前两类(标记 1 和标记 2)包含 90 个记录,而剩下两类(标记 3 和标记 4)只包含 10 个记录,这就存在数据不均衡的问题,可能会导致模型很难正确预测标记 3 或标记 4。

代码

完成评估阶段后,模型生成器会输出一份模型文件和代码,可以使用该代码将模型添加到应用程序。 ML.NET 模型保存为 zip 文件。 用于加载和使用模型的代码会以新项目的形式添加到解决方案中。 模型生成器还会添加一个示例控制台应用,可以运行该应用来查看工作状态下的模型。

此外,模型生成器还会输出生成模型的代码,以便你能了解生成模型所使用的步骤。 还可以通过模型训练代码使用新的数据重新训练模型。

后续步骤

请尝试价格预测或任何回归方案

历史资料。此文对应 2019-08-18 的中文文档快照,适用产品版本和命令行为以原文为准。

来源与署名:Microsoft 和文档贡献者(原始作者元数据 natke)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。

资料来源与适用范围

资料来源
Microsoft / .NET 中文文档历史快照
适用范围
历史中文快照 2019-08-18;详见原文产品版本;文档日期 06/26/2019
内容语言
中文;命令、路径和错误标识保留技术原文
本地收录日期
2026-11-16
授权说明
CC BY 4.0(文档)/ MIT(示例代码)

正文与所需资源由本站本地存储。查看来源及更新记录 ↗

请按适用版本和实际日志确认原因;本站没有对每一种系统或设备逐项执行文中的操作。