php读取txt文件然后去重内容

测试几千w数据，速度还不错：

全栈开发QQ 7477118

<?php // 读取TXT文件内容

$file = 'input.txt'; // 替换为你的TXT文件路径
$content = file_get_contents($file);
// 将内容按行分割为数组
$lines = explode("\n", $content);
// 使用array_unique()函数去重
$uniqueLines = array_unique($lines);
// 将去重后的数组重新组合为字符串
$uniqueContent = implode("\n", $uniqueLines);
// 将结果写回TXT文件（或保存为新文件）
file_put_contents('output.txt', $uniqueContent);
?>