文心千帆数据清洗使用说明

什么是数据清洗

平台支持对文本数据集进行清洗。当您的文本数据中存在emoji表情等符号、大量的url时，您可以使用数据清洗的功能去除。您也可以使用该功能将文本数据中的繁体字转为简体字。

注意文本数据清洗功能仅支持清洗未标注未发布数据。

登录到文心千帆大模型操作台，在左侧功能列数据处理中选择数据清洗，进入数据清洗的主任务界面。

创建数据清洗任务

在数据处理-数据清洗页面中，选择“创建任务”。

• 处理前数据集：存放被清洗的源数据。
• 处理后数据集：存放清洗后的数据。

注意：

1）清洗前的数据集需为非空数据集且未标注的数据集。2）清洗后数据集版本所使用的标注模板需与清洗前数据集版本所使用的标注类型保持一致。3）选择清洗前后数据集名称及版本时，该数据集版本如果正被用于导入、标注、训练、清洗等任务，则不可被选定。

清洗方案

以下清洗方案，在创建清洗任务时，请至少选择一种：

方案类型	方案描述	清洗示例
繁体转简体	对于给定的文本，会将文本中的繁体转化为简体	处理前：選擇珠江花園的原因就是⽅便，有電動扶梯直接到達海邊，周圍餐館、⻝廊、商場、超市、攤位俱全。酒店裝修，但還算整潔。 泳池在⼤堂的屋頂，因此很⼩，不過⼥兒倒是喜歡。 包的早餐是⻄式的，還算豐富。 处理后：选择珠江花园的原因就是⽅便，有电动扶梯直接到达海边，周围餐馆、⻝廊、商场、超市、摊位俱全。酒店装修，但还算整洁。 泳池在⼤堂的屋顶，因此很⼩，不过⼥⼉倒是喜欢。 包的早餐是⻄式的，还算丰富。
简体转繁体	对于给定的文本，会将文本中的简体转化为繁体	处理前：选择珠江花园的原因就是⽅便，有电动扶梯直接到达海边，周围餐馆、⻝廊、商场、超市、摊位俱全。酒店装修，但还算整洁。 泳池在⼤堂的屋顶，因此很⼩，不过⼥⼉倒是喜欢。 包的早餐是⻄式的，还算丰富。 处理后：選擇珠江花園的原因就是⽅便，有電動扶梯直接到達海邊，周圍餐館、⻝廊、商場、超市、攤位俱全。酒店裝修，但還算整潔。 泳池在⼤堂的屋頂，因此很⼩，不過⼥兒倒是喜歡。 包的早餐是⻄式的，還算豐富。
大写转小写	对于给定的文本，会将文本中的大写英文字母转化为小写	处理前：HELLO WORLD 处理后：hello world
去除emoji	对于给定的文本，会将文本中的的冗余符号删除（该方法会删除句子中的一些叠词）	处理前：价廉物美的好选择，晚上到机住十分合适，服务很热情， 房间没地毯很清爽，海景很好看! 处理后：价廉物美的好选择，晚上到机住十分合适，服务很热情，房间没地毯很清爽，海景很好看
删除异常字符	对于给定的文本，会将文本中的的异常符号删除。 该方法默认删除不常见的符号（如︻Ù等）、日文、俄文、希腊字母、不常见的数学物理单位与运算符。不常见的中文字符。unicode 编码的扩展集等）	处理前：人民万岁！伟ـجـ‎大的中国人民，从来ﺹ都是战胜一切艰难险阻的伟力所在√! 处理后：人民万岁！伟 大的中国人民，从来 都是战胜一切艰难险阻的伟力所在 !
删除敏感信息（身份证）	对于给定的文本，会将文本中的敏感信息(身份证)进行删除	处理前：张三的身份证号是 21040319560330098x，曾经从事销售工作，李四的身份证是 211403198603300982，是一名司机，221403198606300982是王五的身份证号。 处理后：张三的身份证号是 ，曾经从事销售工作，李四的身份证是 ，是一名司机，是王五的身份证号。
删除敏感信息（URL）	对于给定的文本，会将文本中的敏感信息(URL)进行删除	处理前：阿⼑⽥⾼的《他⼈同⼠https://douban.com/subject/1662858》《圆梦https://douban.com/subject/1662861》《落樱⻜雪https://douban.com/subject/1662860》《不可思议的声⾳https://douban.com/subject/1331463》《危险的童话https://douban.com/subject/1662859》有钱的话可以去看看，我对这套系列的评价正是蔡国庆当年那⾸freestyle⾥唱的那样：实在是棒啊棒棒棒，我⽆话可说。 处理后：阿⼑⽥⾼的《他⼈同⼠》《圆梦》《落樱⻜雪》《不可思议的声⾳》《危险的童话》有钱的话可以去看看，我对这套系列的评价正是蔡国庆当年那⾸freestyle⾥唱的那样：实在是棒啊棒棒棒，我⽆话可说。
删除敏感信息(号码)	对于给定的文本，会将文本中的敏感信息(号码)进行删除	处理前：有疑问请联系张小姐18340234920，或拨打(028)58291283。 处理后：有疑问请联系张小姐，或拨打。

完成上述步骤后，选择“提交”按钮，提交清洗任务。

查看数据清洗任务

任务提交后，您可至“清洗任务管理”页面，查看清洗状态和任务详情。

任务管理界面可以删除此数据清洗任务，但是已经发起的清洗数据集版本不受影响，仍然会进行清洗任务。