AI人工智能 预处理数据
2021-04-08 11:21 更新
在上一节中,我们已经学习了监督和无监督机器学习算法。 这些算法需要格式化数据才能开始训练过程。在这一节中,我们以某种方式准备或格式化数据,以便将其作为 ML 算法的输入提供。
本章重点介绍机器学习算法的数据准备。
在我们的日常生活中,需要处理大量数据,但这些数据是原始数据。 为了提供数据作为机器学习算法的输入,需要将其转换为有意义的数据。 这就是数据预处理进入图像的地方。 换言之,可以说在将数据提供给机器学习算法之前,我们需要对数据进行预处理。
数据预处理步骤
按照以下步骤在 Python 中预处理数据 -
第1步 - 导入有用的软件包 - 如果使用 Python,那么这将成为将数据转换为特定格式(即预处理)的第一步。如下代码 -
import numpy as np
from sklearn import preprocessing
这里使用了以下两个软件包 -
- NumPy - 基本上 NumPy 是一种通用的数组处理软件包,设计用于高效处理任意记录的大型多维数组而不牺牲小型多维数组的速度。
- sklearn.preprocessing - 此包提供了许多常用的实用函数和变换器类,用于将原始特征向量更改为更适合机器学习算法的表示形式。
第2步 - 定义样本数据 - 导入包后,需要定义一些样本数据,以便可以对这些数据应用预处理技术。现在将定义以下样本数据 -
input_data = np.array([[2.1, -1.9, 5.5],
[-1.5, 2.4, 3.5],
[0.5, -7.9, 5.6],
[5.9, 2.3, -5.8]])
第3步 - 应用预处理技术 - 在这一步中,我们需要应用预处理技术。
以下部分描述数据预处理技术。