Suppresseur de lignes en double

Le Suppresseur de lignes en double est un outil gratuit qui élimine les lignes répétées d'un texte collé et indique combien de lignes il reste.

Comment supprimer les lignes en double ?

Colle ton texte en plaçant un élément par ligne, lance l'outil, puis copie le résultat nettoyé.

1. Organise le contenu source de manière à placer chaque adresse e-mail, URL, référence produit ou autre valeur sur sa propre ligne.
2. Envoie le texte pour supprimer les doublons.
3. Vérifie les nombres indiqués et relis les lignes nettoyées avant de les utiliser ailleurs.

L'outil utilise l'opération array_unique de PHP. Lorsqu'une même ligne apparaît plusieurs fois, la première occurrence est conservée et les suivantes sont supprimées.

Dans quels cas la suppression des doublons fait-elle gagner du temps ?

Elle est utile dès qu'une liste contient des entrées répétées à la suite d'exports, de copier-coller ou du regroupement de plusieurs sources.

• Les exports Excel et Google Sheets contiennent souvent des adresses e-mail, des numéros de référence ou des codes de stock répétés après la fusion de plusieurs feuilles de calcul.
• Les fichiers d'importation Mailchimp peuvent nécessiter la suppression des lignes d'adresses e-mail en double avant leur envoi. Toutefois, supprimer des lignes ne permet ni de valider les adresses ni de rapprocher des fiches de contact distinctes.
• La gestion de produits Shopify peut générer des SKU répétés lorsque des valeurs sont copiées depuis plusieurs rapports.
• Les exports Google Search Console peuvent être regroupés dans une liste contenant une URL par ligne, puis nettoyés avant une analyse plus poussée.
• Les fichiers de configuration GitHub, notamment les listes d'autorisation et d'exclusion simples, peuvent contenir des entrées identiques ajoutées par différents contributeurs.

Prends l'habitude de conserver une copie intacte du contenu source afin de pouvoir récupérer les lignes supprimées comme doublons. Si un doublon apparent subsiste, examine-le dans un éditeur de texte brut capable d'afficher les espaces de fin de ligne et les autres caractères invisibles.

Comment l'outil traite-t-il les espaces, les majuscules et la ponctuation ?

Il compare la valeur complète de chaque ligne. La moindre différence dans une ligne peut donc empêcher deux entrées d'être reconnues comme identiques.

Par exemple, "Manchester", "manchester" et "Manchester " sont trois chaînes distinctes en raison de la différence de casse ou de l'espace final. Les chiffres et la ponctuation font également partie de la comparaison, donc "INV-104" ne correspond pas à "INV104". L'opération ne déduit pas que deux valeurs présentées différemment désignent le même client, la même URL ou le même produit.

Les textes accentués et les écritures non latines peuvent être enregistrés sous forme de chaînes, mais des textes Unicode visuellement identiques peuvent reposer sur des séquences de caractères différentes. Ces lignes peuvent donc rester distinctes si le texte n'est pas normalisé au préalable. Si plusieurs lignes vides sont transmises à array_unique sous forme de valeurs vides répétées, seule la première est conservée.

Pour les fichiers très volumineux, une commande de tableur ou un script peut être plus pratique qu'un outil dans lequel il faut coller le contenu pour dédupliquer l'ensemble des lignes.

Comment interpréter le résultat ?

Les champs de résultat indiquent le nombre de lignes d'origine, le nombre de lignes restantes et le nombre de lignes supprimées.

• Lignes correspond au nombre de lignes dans la liste envoyée.
• Nouvelles lignes correspond au nombre de lignes après la suppression des valeurs en double.
• Lignes supprimées indique combien de valeurs répétées ont été écartées.

Compare le nombre de lignes supprimées avec le résultat attendu. Un nombre étonnamment faible signifie souvent que les lignes présentent des différences d'espacement, de casse ou de ponctuation. Un nombre anormalement élevé peut indiquer que les lignes répétées avaient un sens dans les données d'origine, par exemple des transactions distinctes portant une description identique.

Exemples pratiques

Avec les lignes d'entrée "pear", "apple" et "pear", le résultat contient "pear" et "apple". La deuxième occurrence de "pear" est supprimée, tandis que l'ordre des premières occurrences est conservé.

Avec "London", "london" et "London " comportant un espace final, les trois valeurs sont distinctes lors d'une comparaison directe des chaînes. Uniformiser la casse et supprimer les espaces superflus au préalable constituerait une opération séparée.

Si les valeurs sont séparées par des virgules plutôt que par des sauts de ligne, utilise d'abord le Séparateur de texte afin de placer chaque valeur sur sa propre ligne. La suppression des doublons porte sur des lignes entières, et non sur des mots ou des champs séparés par des virgules à l'intérieur d'une ligne.

Questions fréquentes

Puis-je supprimer les doublons d'un fichier CSV ?

Tu peux coller le contenu d'un fichier CSV, mais l'opération compare chaque ligne entière. Elle ne peut pas dédupliquer une colonne tout en conservant des données différentes dans les colonnes voisines. Pour effectuer une comparaison par colonne, utilise la commande Supprimer les doublons d'Excel, Google Sheets ou un script conçu pour traiter les fichiers CSV.

Pourquoi les éléments d'une liste numérotée ne sont-ils pas reconnus comme des doublons ?

Les numéros placés au début font partie de chaque ligne. Ainsi, "1. Bristol" et "2. Bristol" sont deux valeurs différentes. Si la comparaison doit porter sur le nom du lieu, supprime la numérotation avant d'éliminer les doublons.

Puis-je y coller des informations confidentielles sans risque ?

Le traitement est effectué sur le serveur. Tes données sont transmises au serveur via HTTPS et ne sont pas stockées, mais elles quittent ton appareil pendant le traitement. N'envoie pas de données confidentielles ou réglementées si la politique de ton organisation interdit leur transmission à un service externe.

Puis-je l'utiliser pour nettoyer du JSON ou du code informatique ?

Supprimer sans discernement les lignes répétées peut endommager du JSON, du code source et d'autres formats structurés dans lesquels une répétition peut être intentionnelle. Utilise un analyseur syntaxique, un outil de mise en forme ou un outil propre au langage concerné lorsque la structure et la position des lignes influent sur le sens.

Dernières vérifications

Relis la liste nettoyée avant de l'importer, surtout si des lignes identiques peuvent représenter des commandes, des paiements ou des événements distincts. Conserve le fichier d'origine jusqu'à ce que le système de destination ait accepté les données modifiées et que tu aies vérifié les lignes conservées et supprimées par l'outil.