文心千帆数据集的其他操作

登录到文心千帆大模型操作台，在左侧功能列选择数据集管理，进入数据集管理主任务界面。

查看数据

平台支持您查看全部数据、有标注信息的数据和无标注信息的数据。点击指定数据集版本操作列的“详情”按钮，查看全部数据、有标注信息的数据和无标注信息的数据。并且支持根据导入日期、标注日期等条件进行筛选。

query问题集无需标注，没有标注日期的筛选项。

发布数据

数据集发布后，方可在模型开发阶段引用该数据集做训练。

前提条件

该数据集已完成始标注，query问题集无需标注，可直接发布。

步骤

1. 在对应数据集的操作列中选择“发布”。
2. 数据集发布成功后，该数据集的发布状态为变为“已发布 。

已发布的数据集不允许任何编辑操作。

处理数据

数据在未发布前可以进行数据的清洗和增强。

• 数据清洗：可以对数据集中的文本进行繁体转简体、大写转小写、删除异常字符等操作。详细可查看数据清洗操作。
• 数据增强：通过数据增强策略，对数据本身进行一定程度的扰动和扩充，从而产生"新"数据。在训练时会通过学习大量的"新"数据，提高模型的泛化能力。详细可查看数据增强操作。

删除数据

• 如果您需要删除数据集，请执行下面步骤：

选定某个数据集，选择“删除”按钮。

确认删除数据集后，数据集及全部版本数据都将会被删除且不可恢复。

• 如果您需要删除数据集的某个版本，请执行以下步骤：选定数据集的某个版本，选择“删除”按钮。

删除后，数据集版本不可恢复。