#打开一个新文件用于保存去重后数据
res =open(r'E:\duibi\yiyedataresult_9.txt','w',encoding='utf-8')
#打开要去重文件
with open(r'E:\duibi\yiyedataresult_8.txt',encoding='utf-8')as file:
#一次性读取文件中的所有内容，并按行分割，返回一个包含文件中每一行内容的列表 lines
lines = file.readlines()
#将列表lines 转为 集合(元素不可重复)
unique_lines =set(lines)
#通过for循环读取unique_lines 数据并写入到新文件中
for line in unique_lines:
res.write(line)
print(line)
res.close()
