去重python代码写的TXT文本重复内容去除

以下是一个简单的Python脚本，用于去除TXT文本中的重复内容：

def remove_duplicates(input_file, output_file):
    """
    去除TXT文本中的重复内容。

    :param input_file: 输入文件路径
    :param output_file: 输出文件路径
    """
    # 读取输入文件
    with open(input_file, 'r', encoding='utf-8') as file:
        lines = file.readlines()

    # 使用集合去除重复行
    unique_lines = set(lines)

    # 将唯一行写回文件
    with open(output_file, 'w', encoding='utf-8') as file:
        file.writelines(unique_lines)

# 使用示例
input_path = 'input.txt'  # 输入文件路径
output_path = 'output.txt'  # 输出文件路径

remove_duplicates(input_path, output_path)