Dubbele lijnen verwijderaar

De Dubbele lijnen verwijderaar is een gratis tool die herhaalde regels uit geplakte tekst verwijdert en aangeeft hoeveel regels er overblijven.

Hoe verwijder ik dubbele regels?

Plak de tekst met één item per regel, voer de tool uit en kopieer daarna het opgeschoonde resultaat.

1. Zorg dat elk e-mailadres, elke URL, productcode of andere waarde op een eigen regel staat.
2. Verstuur de tekst om dubbele regels te verwijderen.
3. Controleer de gemelde aantallen en bekijk de opgeschoonde regels voordat je ze ergens anders gebruikt.

De tool gebruikt de PHP-bewerking array_unique. Komt dezelfde regel meerdere keren voor, dan blijft de eerste behouden en worden latere identieke regels verwijderd.

Wanneer bespaart het verwijderen van dubbele regels tijd?

Het bespaart tijd wanneer een lijst door exports, kopiëren of het samenvoegen van meerdere bronnen herhaalde vermeldingen bevat.

• Exports uit Excel en Google Sheets bevatten vaak dubbele e-mailadressen, referentienummers of voorraadcodes nadat werkbladen zijn samengevoegd.
• Importbestanden voor Mailchimp moeten soms vóór het uploaden worden ontdaan van dubbele e-mailregels. Het verwijderen van regels controleert echter niet of adressen geldig zijn en voegt afzonderlijke contactrecords niet samen.
• Productbeheer in Shopify kan dubbele SKU's opleveren wanneer waarden uit meerdere rapporten worden gekopieerd.
• Exports uit Google Search Console kun je samenvoegen tot een URL-lijst met één URL per regel en vóór verdere analyse opschonen.
• GitHub-configuratiebestanden, waaronder eenvoudige toelatingslijsten en negeerlijsten, kunnen identieke vermeldingen bevatten die door verschillende bijdragers zijn toegevoegd.

Bewaar altijd een ongewijzigde kopie van de bron, zodat je regels kunt herstellen die als duplicaat zijn verwijderd. Blijft een schijnbaar dubbele regel staan, bekijk die dan in een platteteksteditor die spaties aan het einde en andere onzichtbare tekens zichtbaar kan maken.

Hoe gaat de tool om met spaties, hoofdletters en leestekens?

De tool vergelijkt de volledige waarde van elke regel. Verschillen binnen een regel kunnen er daarom voor zorgen dat twee vermeldingen niet overeenkomen.

Zo zijn "Manchester", "manchester" en "Manchester " afzonderlijke tekenreeksen, omdat het hoofdlettergebruik of de spatie aan het einde verschilt. Cijfers en leestekens tellen eveneens mee bij de vergelijking, dus "INV-104" komt niet overeen met "INV104". De bewerking leidt niet af dat twee verschillend opgemaakte waarden naar dezelfde klant, URL of hetzelfde product verwijzen.

Tekst met accenten en niet-Latijnse tekens kan als regels worden verwerkt, maar visueel identieke Unicode-tekst kan uit verschillende onderliggende tekenreeksen bestaan. Zulke regels blijven mogelijk afzonderlijk staan, tenzij de tekst vooraf wordt genormaliseerd. Als array_unique meerdere lege regels als herhaalde lege waarden ontvangt, blijft alleen de eerste lege waarde behouden.

Bij zeer grote bestanden is een spreadsheetopdracht of script mogelijk praktischer om alle regels te ontdubbelen dan het bestand in een browsertool te plakken.

Hoe lees ik het resultaat?

De resultaatvelden tonen het oorspronkelijke aantal regels, het resterende aantal regels en het aantal verwijderde regels.

• Regels is het aantal regels in de ingediende lijst.
• Nieuwe regels is het aantal nadat dubbele waarden zijn verwijderd.
• Verwijderde regels geeft aan hoeveel herhaalde waarden zijn weggehaald.

Vergelijk het aantal verwijderde regels met wat je verwachtte. Een onverwacht laag aantal betekent vaak dat regels verschillen door spaties, hoofdlettergebruik of leestekens. Een onverwacht hoog aantal kan erop wijzen dat herhaalde regels betekenis hadden in de oorspronkelijke gegevens, zoals afzonderlijke transacties met identieke omschrijvingen.

Voorbeelden met regels

Bij de invoerregels "pear", "apple" en "pear" bestaat het resultaat uit "pear" en "apple". De tweede vermelding van "pear" wordt verwijderd, terwijl de volgorde van de eerste vermeldingen behouden blijft.

Bij "London", "london" en "London " met een spatie aan het einde zijn alle drie de waarden verschillend wanneer tekenreeksen rechtstreeks worden vergeleken. Het vooraf uniform maken van hoofdletters en kleine letters en het verwijderen van omringende witruimte is een aparte bewerking.

Zijn de waarden gescheiden door komma's in plaats van regeleinden, gebruik dan eerst de Tekstscheider om elke waarde op een eigen regel te zetten. De verwijdering van duplicaten werkt per regel, niet op afzonderlijke woorden of kommagescheiden velden binnen een regel.

Veelgestelde vragen

Kan ik dubbele regels uit een CSV-bestand verwijderen?

Je kunt CSV-inhoud plakken, maar de bewerking vergelijkt volledige rijen als regels. De tool kan niet één kolom ontdubbelen en tegelijkertijd verschillende gegevens in aangrenzende kolommen behouden. Gebruik voor vergelijking per kolom de opdracht Duplicaten verwijderen in Excel, Google Sheets of een script dat CSV correct verwerkt.

Waarom worden genummerde lijstitems niet als duplicaten gezien?

Nummers aan het begin maken deel uit van elke regel. Daardoor zijn "1. Bristol" en "2. Bristol" verschillende waarden. Verwijder de nummering voordat je de lijst ontdubbelt als de plaatsnaam de waarde is die moet worden vergeleken.

Kan ik hier veilig vertrouwelijke informatie plakken?

De verwerking vindt plaats op de server. Je invoer wordt via HTTPS naar de server verzonden en niet opgeslagen, maar verlaat tijdens de verwerking wel je apparaat. Dien geen vertrouwelijke of gereguleerde gegevens in als het beleid van je organisatie verbiedt dat deze naar een externe dienst worden gestuurd.

Kan ik hiermee JSON of programmacode opschonen?

Als je zonder controle herhaalde regels verwijdert, kun je JSON, broncode en andere gestructureerde indelingen beschadigen waarin herhaalde tekst opzettelijk kan zijn. Gebruik een parser, formatter of taalspecifieke tool wanneer de structuur en positie van regels de betekenis bepalen.

Laatste controles

Controleer de opgeschoonde lijst voordat je deze importeert, vooral wanneer dubbele regels afzonderlijke bestellingen, betalingen of gebeurtenissen kunnen voorstellen. Bewaar het oorspronkelijke bestand totdat het doelsysteem de aangepaste gegevens heeft geaccepteerd en je hebt gecontroleerd welke regels de tool heeft behouden en verwijderd.