重複行の削除ツール

重複行の削除ツールは、貼り付けたテキストから重複する行を削除し、残った行数を表示する無料ツールです。

重複する行を削除するには？

1行に1件ずつ値を並べたテキストを貼り付けてツールを実行し、整理された結果をコピーします。

1. メールアドレス、URL、商品コードなどの各値が、それぞれ独立した行になるように元データを整えます。
2. テキストを送信して重複行を削除します。
3. 表示された行数を確認し、整理後の行を見直してから別の場所で使用します。

このツールでは、PHPのarray_unique処理を使用しています。同じ行が複数回現れる場合、最初の行だけを残し、それ以降の一致する行を削除します。

重複行を削除すると、どんな作業を効率化できる？

エクスポート、コピー、複数のデータソースの統合などによって同じ項目がリストに重複したとき、整理の手間を省けます。

• ExcelやGoogle スプレッドシートからのエクスポート: 複数のワークシートを統合すると、メールアドレス、参照番号、在庫コードなどが重複することがよくあります。
• Mailchimpのインポートファイル: アップロード前に、重複するメールアドレスの行を削除しなければならない場合があります。ただし、行を削除してもアドレスの有効性は検証されず、別々の連絡先レコードが統合されるわけでもありません。
• Shopifyの商品データ: 複数のレポートから値をコピーすると、同じSKUが重複することがあります。
• Google Search Consoleのエクスポート: 複数のデータを1行につき1件のURLリストにまとめ、詳しく分析する前に重複を取り除けます。
• GitHubの設定ファイル: 単純な許可リストや除外リストなどでは、複数の共同作業者が同じ項目を追加している場合があります。

重複として削除された行を復元できるよう、元データは変更せずにコピーを保存しておくと安心です。重複しているように見える行が残る場合は、末尾の空白などの不可視文字を確認できるプレーンテキストエディターで調べてください。

空白、大文字と小文字、句読点はどう扱われる？

行全体の値を比較するため、行内に違いが1つでもあると、同じ項目として判定されないことがあります。

たとえば、"Manchester"、"manchester"、"Manchester "は、大文字と小文字、または末尾の空白が異なるため、それぞれ別の文字列です。数字や句読点も比較対象なので、"INV-104"と"INV104"は一致しません。書式が異なる2つの値が、同じ顧客、URL、商品を指しているかどうかは推測されません。

アクセント記号付き文字や非ラテン文字のテキストも行の文字列として保持できますが、見た目が同じUnicodeテキストでも、内部では異なる文字シーケンスが使われている場合があります。事前にテキストを正規化しない限り、そのような行は別々に残ることがあります。空白行が重複する空の値としてarray_uniqueに渡された場合は、最初の空の値だけが残ります。

非常に大きなファイルでは、ブラウザツールに貼り付けるよりも、スプレッドシートのコマンドやスクリプトで全行の重複を削除するほうが実用的な場合があります。

結果の見方は？

結果欄には、元の行数、重複削除後に残った行数、削除された行数が表示されます。

• 行数: 送信したリストの行数です。
• 残った行数: 重複する値を削除した後の行数です。
• 削除された行数: 重複として削除された値の数です。

削除された行数が想定どおりか確認してください。予想より少ない場合は、空白、大文字と小文字、句読点などが行ごとに異なっていることがよくあります。予想より多い場合は、同じ説明を持つ別々の取引など、元データでは重複行そのものに意味があった可能性があります。

行の処理例

入力行が"pear"、"apple"、"pear"の場合、結果は"pear"と"apple"になります。2つ目の"pear"は削除され、最初に現れた各値の順序は維持されます。

"London"、"london"、末尾に空白がある"London "は、文字列を直接比較すると3つとも異なる値です。大文字と小文字の統一や、前後の空白の除去は、重複削除とは別の処理になります。

値が改行ではなくカンマで区切られている場合は、先にテキストセパレーターを使い、各値を個別の行に配置してください。重複削除の対象は行です。行内の単語や、カンマで区切られた個々のフィールドは対象になりません。

よくある質問

CSVファイルの重複も削除できる？

CSVの内容は貼り付けられますが、処理では行全体を1つの値として比較します。隣接する列の異なるデータを残したまま、特定の1列だけを基準に重複を削除することはできません。列を基準に照合する場合は、Excelの「重複の削除」コマンド、Google スプレッドシート、またはCSVを扱えるスクリプトを使用してください。

番号付きリストが重複として扱われないのはなぜ？

行頭の番号も各行の一部なので、"1. Bristol"と"2. Bristol"は異なる値です。地名を比較したい場合は、重複削除の前に番号を取り除いてください。

機密情報を貼り付けても安全？

処理はサーバー上で行われます。入力内容はHTTPS経由でサーバーに送信され、保存はされませんが、処理中は端末の外部に送られます。組織のポリシーで外部サービスへの送信が禁止されている場合は、機密情報や規制対象データを送信しないでください。

JSONやプログラムコードの整理にも使える？

重複行を無条件に削除すると、同じテキストが意図的に使われているJSON、ソースコード、その他の構造化形式が壊れる可能性があります。構造や行の位置によって意味が変わる場合は、パーサー、フォーマッター、または言語専用のツールを使用してください。

最後に確認すること

重複行が別々の注文、支払い、イベントを表している可能性がある場合は、特に注意して整理後のリストを確認してください。変更後のデータが送信先システムで受け付けられ、ツールが残した行と削除した行を確認し終えるまでは、元のファイルを保管しておきましょう。