在进行数据清洗时,往往需要删除文档中的出现的表情符号,因为他们无法被读取。借助demoji库,可以非常简单地完成这项工作。
关于demoji 库的文档,可以访问demoji · PyPI
首先,需要在环境中利用pip install安装demoji库。
pip install demoji
实现删除文档中的表情符号的代码如下:
# -*- coding: UTF-8 -*-import osimport demojifile_path = "SeptemberB.txt" /*待处理的文件*/final_file = "SeptemberB2.txt" /*生成的文件*/# 如果final_file文件存在,则删除if os.path.exists(final_file):os.remove(final_file)with open(file_path, 'r',encoding = 'utf-8') as file:for line in file:# 替换表情符号为 空rap_line = demoji.replace(line, "")# 写入文件with open(final_file, 'a',encoding = 'utf-8') as f:f.write(rap_line)