删除重复行
使用我们的删除重复行工具轻松从文本中删除重复行，保持内容整洁。
删除重复行是一款免费工具，可从粘贴的文本中删除重复行，并显示处理后剩余的行数。
如何删除重复行？
粘贴文本，确保每行只有一个项目。运行工具后，再复制清理后的结果。
- 整理原始内容，确保每个电子邮件地址、URL、产品代码或其他值各占一行。
- 提交文本，删除其中的重复行。
- 查看统计数量并检查清理后的内容，然后再用于其他地方。
该工具使用 PHP 的 array_unique 操作。同一行出现多次时，会保留第一次出现的内容，并删除之后与之相同的行。
哪些场景适合删除重复行？
当列表因导出、复制或合并多个来源而出现重复内容时，删除重复行可以节省整理时间。
- Excel 和 Google Sheets 导出的文件在合并工作表后，经常包含重复的电子邮件地址、参考编号或库存代码。
- Mailchimp 导入文件上传前可能需要删除重复的电子邮件行。不过，删除重复行不会验证地址是否有效，也不会合并彼此独立的联系人记录。
- Shopify 产品数据处理中，如果从多份报告复制数据，可能会产生重复的 SKU。
- Google Search Console 导出数据可以合并成每行一个 URL 的列表，并在进一步分析前清除重复项。
- GitHub 配置文件，包括简单的允许列表和忽略列表，可能包含不同贡献者添加的相同条目。
建议保留一份未经修改的原始内容，以便找回被当作重复项删除的行。如果看起来相同的内容仍未删除，请使用能够显示行尾空格和其他不可见字符的纯文本编辑器进行检查。
工具如何处理空格、大小写和标点？
工具会比较每一行的完整值，因此行内的差异可能导致两个条目无法匹配。
例如，"Manchester"、"manchester" 和 "Manchester " 会被视为三个不同的字符串，因为它们的大小写或行尾空格不同。数字和标点也是比较内容的一部分，所以 "INV-104" 与 "INV104" 不匹配。工具不会自行判断格式不同的两个值是否指向同一位客户、同一个 URL 或同一件产品。
带重音符号的文字和非拉丁文字可以作为行字符串处理，但外观看起来相同的 Unicode 文本，底层字符序列可能不同。如果不预先对文本进行规范化，这些行可能仍会被视为不同内容。如果多个空行以重复空值的形式传入 array_unique，则只会保留第一个空值。
对于非常大的文件，与其粘贴到浏览器工具中，不如使用电子表格命令或脚本对全部行进行去重，这通常更实用。
如何查看处理结果？
结果区域会显示原始行数、剩余行数和已删除行数。
- 行数是所提交列表的行数。
- 新行数是删除重复值后的行数。
- 已删除行数表示丢弃了多少个重复值。
请确认已删除行数是否符合预期。如果数量异常偏低，通常说明各行在空格、大小写或标点方面存在差异。如果数量异常偏高，可能说明原始数据中的重复行本身具有不同含义，例如描述相同但分别对应不同交易的记录。
重复行处理示例
输入行是 "pear"、"apple" 和 "pear" 时，结果为 "pear" 和 "apple"。第二次出现的 "pear" 会被删除，同时保留各项第一次出现时的顺序。
对于 "London"、"london" 和末尾带空格的 "London "，直接比较字符串时，三个值都不相同。预先统一大小写并清除首尾空格属于另一项处理操作。
如果各个值之间用逗号而不是换行符分隔，请先使用文本分隔工具，让每个值单独占一行。删除重复行只会按行处理，不会检查一行中的单个词语或逗号分隔字段。
常见问题
可以删除 CSV 文件中的重复内容吗？
可以粘贴 CSV 内容，但工具会将每一整行作为比较对象。它不能只对某一列去重，同时保留相邻列中的不同数据。如果需要按列匹配，请使用 Excel 的删除重复项命令、Google Sheets 或能够解析 CSV 的脚本。
为什么带编号的列表项不会被视为重复内容？
开头的编号是每行内容的一部分，因此 "1. Bristol" 和 "2. Bristol" 是不同的值。如果要比较的是地名，请先删除编号，再进行去重。
可以安全地粘贴机密信息吗？
处理工作在服务器上完成，输入内容在处理期间会离开你的设备。输入内容会通过 HTTPS 传输到服务器，并且不会被存储。如果你的组织政策禁止将机密数据或受监管数据发送给外部服务，请勿提交此类内容。
可以用它清理 JSON 或程序代码吗？
不应盲目删除 JSON、源代码和其他结构化格式中的重复行，因为其中的重复文本可能是有意保留的，直接删除可能会破坏数据。如果数据结构和行的位置会影响含义，请使用解析器、格式化工具或针对相应编程语言的专用工具。
最后检查
导入前请检查清理后的列表，尤其是在重复行可能分别代表不同订单、付款或事件时。请保留原始文件，直到目标系统成功接收修改后的数据，并且你已检查工具保留和删除的行。