了解如何使用 ML.NET 来准备数据用于进行其他处理或生成模型。
数据通常是不干净的和稀疏的。 此外,ML.NET 机器学习算法期望输入或特征位于单个数字向量中。 因此,数据准备的目标之一是将数据转换为 ML.NET 算法所期望的格式。
筛选数据
有时,并非数据集中的所有数据都与分析相关。 删除不相关数据的方法之一是筛选。 DataOperationsCatalog 包含一组筛选操作,这些操作接收包含所有数据的 IDataView,并返回仅包含关注数据点的 IDataView。 值得注意的是,因为筛选操作不像 TransformsCatalog 中的操作那样是 IEstimator 或 ITransformer,所以它们不能作为 EstimatorChain 或 TransformerChain 数据准备管道的一部分包含在内。
使用加载到 IDataView 中的以下输入数据:
HomeData[] homeDataList = new HomeData[]
{
new HomeData
{
NumberOfBedrooms=1f,
Price=100000f
},
new HomeData
{
NumberOfBedrooms=2f,
Price=300000f
},
new HomeData
{
NumberOfBedrooms=6f,
Price=600000f
}
};
若要根据列的值筛选数据,请使用 FilterRowsByColumn 方法。
// Apply filter
IDataView filteredData = mlContext.Data.FilterRowsByColumn(data, "Price", lowerBound: 200000, upperBound: 1000000);
上述示例采用数据集中价格介于 200,000 和 1,000,000 之间的行。 应用此筛选器的结果为,将仅返回数据中的最后两行,并排除第一行,因为其价格为 100,000,不在指定范围之间。
替换缺失值
缺失值在数据集中是常见现象。 处理缺失值的一种方法是使用给定类型的默认值(如有)或其他有意义的值(例如数据中的平均值)替换它们。
使用加载到 IDataView 中的以下输入数据:
HomeData[] homeDataList = new HomeData[]
{
new HomeData
{
NumberOfBedrooms=1f,
Price=100000f
},
new HomeData
{
NumberOfBedrooms=2f,
Price=300000f
},
new HomeData
{
NumberOfBedrooms=6f,
Price=float.NaN
}
};
请注意,列表中最后一个元素的 Price 缺失值。 若要替换 Price 列中的缺失值,请使用 ReplaceMissingValues 方法填充该缺失值。
Important:
ReplaceMissingValue仅适用于数字数据。
// Define replacement estimator
var replacementEstimator = mlContext.Transforms.ReplaceMissingValues("Price", replacementMode: MissingValueReplacingEstimator.ReplacementMode.Mean);
// Fit data to estimator
// Fitting generates a transformer that applies the operations of defined by estimator
ITransformer replacementTransformer = replacementEstimator.Fit(data);
// Transform data
IDataView transformedData = replacementTransformer.Transform(data);
ML.NET 支持各种替换模式。 上述示例使用 Mean 替换模式,该模式将使用该列的平均值填充缺失值。 替换的结果使用 200,000 填充数据中最后一个元素的 Price 属性,因为它是 100,000 和 300,000 的平均值。
使用规范化程序
规范化是一种数据预处理技术,用于标准化比例不同的特征,这有助于算法更快地融合。 例如,年龄和收入等值的范围存在明显差异,年龄的范围通常为 0-100,而收入的范围通常为零到数千。 访问转换页面,获取更详细的规范化转换列表和说明。
最小-最大规范化
使用加载到 IDataView 中的以下输入数据:
HomeData[] homeDataList = new HomeData[]
{
new HomeData
{
NumberOfBedrooms = 2f,
Price = 200000f
},
new HomeData
{
NumberOfBedrooms = 1f,
Price = 100000f
}
};
可以向包含单个数值及矢量的列应用规范化。 使用 NormalizeMinMax 方法通过最小-最大规范化来规范化 Price 列中的数据。
// Define min-max estimator
var minMaxEstimator = mlContext.Transforms.NormalizeMinMax("Price");
// Fit data to estimator
// Fitting generates a transformer that applies the operations of defined by estimator
ITransformer minMaxTransformer = minMaxEstimator.Fit(data);
// Transform data
IDataView transformedData = minMaxTransformer.Transform(data);
原始价格值 [200000,100000] 使用 MinMax 规范化公式转换为 [ 1, 0.5 ],该公式生成范围在 0-1 之间的输出值。
分箱
分箱将连续值转换为输入的离散表示形式。 例如,假设某个特征为年龄。 分箱不使用实际年龄值,而是为该值创建范围。 0-18 可以是一个箱,另一个箱可以是 19-35,依此类推。
使用加载到 IDataView 中的以下输入数据:
HomeData[] homeDataList = new HomeData[]
{
new HomeData
{
NumberOfBedrooms=1f,
Price=100000f
},
new HomeData
{
NumberOfBedrooms=2f,
Price=300000f
},
new HomeData
{
NumberOfBedrooms=6f,
Price=600000f
}
};
使用 NormalizeBinning 方法将数据规范化为箱。 maximumBinCount 参数使你可以指定对数据进行分类所需的箱数。 在此示例中,数据将放入两个箱中。
// Define binning estimator
var binningEstimator = mlContext.Transforms.NormalizeBinning("Price", maximumBinCount: 2);
// Fit data to estimator
// Fitting generates a transformer that applies the operations of defined by estimator
var binningTransformer = binningEstimator.Fit(data);
// Transform Data
IDataView transformedData = binningTransformer.Transform(data);
分箱的结果为创建 [0,200000,Infinity] 的分箱边界。 因此,所得到的箱为 [0,1,1],因为第一个观测在 0-200,000 之间,而其他观测则大于 200,000 但小于无穷大。
使用分类数据
在用于生成机器学习模型之前,需要将非数字分类数据转换为数字。
使用加载到 IDataView 中的以下输入数据:
CarData[] cars = new CarData[]
{
new CarData
{
Color="Red",
VehicleType="SUV"
},
new CarData
{
Color="Blue",
VehicleType="Sedan"
},
new CarData
{
Color="Black",
VehicleType="SUV"
}
};
分类 VehicleType 属性可以使用 OneHotEncoding 方法转换为数字。
// Define categorical transform estimator
var categoricalEstimator = mlContext.Transforms.Categorical.OneHotEncoding("VehicleType");
// Fit data to estimator
// Fitting generates a transformer that applies the operations of defined by estimator
ITransformer categoricalTransformer = categoricalEstimator.Fit(data);
// Transform Data
IDataView transformedData = categoricalTransformer.Transform(data);
生成的转换将 VehicleType 的文本值转换为数字。 应用转换后,VehicleType 列中的条目将变为以下内容:
[
1, // SUV
2, // Sedan
1 // SUV
]
使用文本数据
在用于生成机器学习模型之前,需要将文本数据转换为数字。 访问转换页面,获取更详细的文本转换列表和说明。
使用类似以下已加载到 IDataView 中的数据的数据:
ReviewData[] reviews = new ReviewData[]
{
new ReviewData
{
Description="This is a good product",
Rating=4.7f
},
new ReviewData
{
Description="This is a bad product",
Rating=2.3f
}
};
将文本转换为数字向量表示形式的最简单步骤是使用 FeaturizeText 方法。 通过使用 FeaturizeText 转换,将一系列转换应用于输入文本列,从而生成表示 lp 规范化字词和 n 元语法的数字向量。
// Define text transform estimator
var textEstimator = mlContext.Transforms.Text.FeaturizeText("Description");
// Fit data to estimator
// Fitting generates a transformer that applies the operations of defined by estimator
ITransformer textTransformer = textEstimator.Fit(data);
// Transform data
IDataView transformedData = textTransformer.Transform(data);
生成的转换会将 Description 列中的文本值转换为类似以下输出的数字向量:
[ 0.2041241, 0.2041241, 0.2041241, 0.4082483, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0.2041241, 0, 0, 0, 0, 0.4472136, 0.4472136, 0.4472136, 0.4472136, 0.4472136, 0 ]
将复杂的文本处理步骤合并到一个 EstimatorChain 中以消除干扰,并可能根据需要减少所需的处理资源量。
// Define text transform estimator
var textEstimator = mlContext.Transforms.Text.NormalizeText("Description")
.Append(mlContext.Transforms.Text.TokenizeIntoWords("Description"))
.Append(mlContext.Transforms.Text.RemoveDefaultStopWords("Description"))
.Append(mlContext.Transforms.Conversion.MapValueToKey("Description"))
.Append(mlContext.Transforms.Text.ProduceNgrams("Description"))
.Append(mlContext.Transforms.NormalizeLpNorm("Description"));
textEstimator 包含 FeaturizeText 方法执行的一组操作。 更复杂管道的好处在于对应用于数据的转换的控制和可见性。
以第一个条目为例,以下是对 textEstimator 定义的转换步骤产生的结果的详细说明:
原始文本:This is a good product
| Transform | 说明 | 结果 |
|---|---|---|
| 1.NormalizeText | 默认情况下将所有字母转换为小写字母 | this is a good product |
| 2.TokenizeWords | 将字符串拆分为单独的字词 | ["this","is","a","good","product"] |
| 3.RemoveDefaultStopWords | 删除 is 和 a 等非索引字 | ["good","product"] |
| 4.MapValueToKey | 根据输入数据将值映射到键(类别) | [1,2] |
| 5.ProduceNGrams | 将文本转换为连续单词的序列 | [1,1,1,0,0] |
| 6.NormalizeLpNorm | 按缩放的 lp 规范缩放输入 | [ 0.577350529, 0.577350529, 0.577350529, 0, 0 ] |
历史资料。此文对应 2019-08-18 的中文文档快照,适用产品版本和命令行为以原文为准。
来源与署名:Microsoft 和文档贡献者(原始作者元数据 luisquintanilla)。固定版本原文。文档采用 CC BY 4.0,示例代码采用 MIT 授权。本站将 Markdown 转为 HTML,规范化链接,移除外部媒体和导航标记。
