Doppelte Zeilen entfernen

Doppelte Zeilen entfernen ist ein kostenloses Tool, das wiederholte Zeilen aus eingefügtem Text entfernt und anzeigt, wie viele Zeilen übrig bleiben.

Wie entferne ich doppelte Zeilen?

Füge den Text so ein, dass jeder Eintrag in einer eigenen Zeile steht, starte das Tool und kopiere anschließend das bereinigte Ergebnis.

1. Bereite die Ausgangsdaten so vor, dass jede E-Mail-Adresse, URL, jeder Produktcode oder sonstige Wert in einer eigenen Zeile steht.
2. Sende den Text ab, um doppelte Zeilen zu entfernen.
3. Prüfe die angezeigten Zahlen und kontrolliere die bereinigten Zeilen, bevor du sie anderweitig verwendest.

Das Tool verwendet die PHP-Operation array_unique. Kommt dieselbe Zeile mehrfach vor, bleibt das erste Vorkommen erhalten. Alle späteren identischen Vorkommen werden entfernt.

Wann spart das Entfernen doppelter Zeilen Zeit?

Es spart immer dann Zeit, wenn sich durch Exporte, Kopieren oder das Zusammenführen mehrerer Quellen wiederholte Einträge in einer Liste angesammelt haben.

• Exporte aus Excel und Google Sheets enthalten nach dem Zusammenführen von Tabellenblättern häufig mehrfach vorhandene E-Mail-Adressen, Referenznummern oder Artikelnummern.
• Importdateien für Mailchimp müssen vor dem Hochladen möglicherweise von doppelten E-Mail-Zeilen bereinigt werden. Das Entfernen von Zeilen prüft jedoch weder die Gültigkeit der Adressen noch gleicht es separate Kontaktdatensätze miteinander ab.
• Bei der Arbeit mit Shopify-Produkten können SKUs mehrfach vorkommen, wenn Werte aus mehreren Berichten kopiert wurden.
• Exporte aus der Google Search Console lassen sich zu einer URL-Liste mit einer URL pro Zeile zusammenführen und vor der weiteren Analyse bereinigen.
• GitHub-Konfigurationsdateien, darunter einfache Zulassungs- und Ignorierlisten, können identische Einträge enthalten, die von verschiedenen Mitwirkenden hinzugefügt wurden.

Bewahre am besten immer eine unveränderte Kopie der Ausgangsdaten auf. So kannst du Zeilen wiederherstellen, die als Duplikate entfernt wurden. Bleibt ein vermeintliches Duplikat erhalten, untersuche die Zeile in einem Texteditor, der nachgestellte Leerzeichen und andere unsichtbare Zeichen sichtbar machen kann.

Wie werden Leerzeichen, Großbuchstaben und Satzzeichen behandelt?

Das Tool vergleicht jeweils den vollständigen Inhalt einer Zeile. Unterschiede innerhalb einer Zeile können daher verhindern, dass zwei Einträge als identisch erkannt werden.

So gelten "Manchester", "manchester" und "Manchester " als unterschiedliche Zeichenfolgen, weil sich die Groß- und Kleinschreibung oder das nachgestellte Leerzeichen unterscheidet. Zahlen und Satzzeichen fließen ebenfalls in den Vergleich ein. Deshalb stimmt "INV-104" nicht mit "INV104" überein. Das Tool leitet nicht daraus ab, dass zwei unterschiedlich formatierte Werte denselben Kunden, dieselbe URL oder dasselbe Produkt bezeichnen.

Text mit Akzenten und nichtlateinischen Zeichen kann als Zeichenfolge in einer Zeile gespeichert werden. Optisch identischer Unicode-Text kann jedoch aus unterschiedlichen zugrunde liegenden Zeichenfolgen bestehen. Solche Zeilen bleiben möglicherweise getrennt, wenn der Text nicht vorher normalisiert wird. Werden Leerzeilen als wiederholte leere Werte an array_unique übergeben, bleibt nur der erste leere Wert erhalten.

Bei sehr großen Dateien kann es praktischer sein, den gesamten Zeilenbestand mit einer Tabellenkalkulationsfunktion oder einem Skript zu deduplizieren, statt ihn in ein Browser-Tool einzufügen.

Wie lese ich das Ergebnis?

Die Ergebnisfelder zeigen die ursprüngliche Zeilenzahl, die Anzahl der verbleibenden Zeilen und die Zahl der entfernten Zeilen an.

• Zeilen gibt die Anzahl der Zeilen in der übermittelten Liste an.
• Neue Zeilen zeigt die Anzahl nach dem Entfernen doppelter Werte.
• Entfernte Zeilen gibt an, wie viele wiederholte Werte verworfen wurden.

Vergleiche die Zahl der entfernten Zeilen mit deiner Erwartung. Ist sie überraschend niedrig, unterscheiden sich Zeilen häufig durch Leerzeichen, Groß- und Kleinschreibung oder Satzzeichen. Eine unerwartet hohe Zahl kann darauf hindeuten, dass wiederholte Zeilen in den Ausgangsdaten eine eigene Bedeutung hatten, etwa separate Transaktionen mit identischen Beschreibungen.

Beispiele für die Zeilenbereinigung

Bei den Eingabezeilen "pear", "apple" und "pear" lautet das Ergebnis "pear" und "apple". Das zweite Vorkommen von "pear" wird entfernt, während die Reihenfolge der jeweils ersten Vorkommen erhalten bleibt.

Bei "London", "london" und "London " mit einem nachgestellten Leerzeichen gelten alle drei Werte beim direkten Zeichenfolgenvergleich als unterschiedlich. Die vorherige Vereinheitlichung der Groß- und Kleinschreibung sowie das Entfernen umgebender Leerzeichen wären separate Arbeitsschritte.

Sind die Werte durch Kommas statt durch Zeilenumbrüche getrennt, verwende zuerst den Texttrenner, um jeden Wert in eine eigene Zeile zu setzen. Die Duplikatentfernung verarbeitet Zeilen, nicht einzelne Wörter oder kommagetrennte Felder innerhalb einer Zeile.

Häufig gestellte Fragen

Kann ich Duplikate aus einer CSV-Datei entfernen?

Du kannst CSV-Inhalte einfügen, das Tool vergleicht jedoch immer ganze Zeilen. Es kann nicht nur eine Spalte deduplizieren und dabei unterschiedliche Daten in benachbarten Spalten beibehalten. Für einen spaltenbasierten Abgleich solltest du die Funktion zum Entfernen von Duplikaten in Excel, Google Sheets oder ein CSV-kompatibles Skript verwenden.

Warum werden nummerierte Listeneinträge nicht als Duplikate erkannt?

Vorangestellte Zahlen gehören zum Inhalt der jeweiligen Zeile. Daher sind "1. Bristol" und "2. Bristol" unterschiedliche Werte. Entferne vor der Deduplizierung die Nummerierung, wenn nur der Ortsname verglichen werden soll.

Kann ich vertrauliche Informationen sicher einfügen?

Die Verarbeitung erfolgt auf dem Server. Deine Eingabe wird über HTTPS an den Server übertragen und nicht gespeichert, verlässt während der Verarbeitung aber dein Gerät. Übermittle keine vertraulichen oder regulierten Daten, wenn die Richtlinien deiner Organisation die Übertragung an einen externen Dienst untersagen.

Kann ich damit JSON oder Programmcode bereinigen?

Das ungeprüfte Entfernen wiederholter Zeilen kann JSON, Quellcode und andere strukturierte Formate beschädigen, in denen sich Text absichtlich wiederholt. Verwende einen Parser, Formatierer oder ein sprachspezifisches Tool, wenn Struktur und Zeilenposition die Bedeutung beeinflussen.

Abschließende Prüfung

Kontrolliere die bereinigte Liste vor dem Import, besonders wenn doppelte Zeilen separate Bestellungen, Zahlungen oder Ereignisse darstellen könnten. Bewahre die Originaldatei auf, bis das Zielsystem die überarbeiteten Daten akzeptiert hat und du die vom Tool beibehaltenen sowie entfernten Zeilen geprüft hast.