Eliminator de linii duplicate

Eliminatorul de linii duplicate este un instrument gratuit care elimină liniile repetate din textul inserat și indică numărul de linii rămase.

Cum elimin liniile duplicate?

Inserează textul cu câte un element pe fiecare linie, rulează instrumentul, apoi copiază rezultatul curățat.

1. Aranjează conținutul sursă astfel încât fiecare adresă de e-mail, adresă URL, cod de produs sau altă valoare să fie pe o linie separată.
2. Trimite textul pentru eliminarea duplicatelor.
3. Verifică numerele afișate și examinează liniile curățate înainte de a le folosi în altă parte.

Instrumentul folosește operația array_unique din PHP. Când aceeași linie apare de mai multe ori, prima apariție este păstrată, iar aparițiile identice ulterioare sunt eliminate.

Când economisește timp eliminarea liniilor duplicate?

Economisește timp ori de câte ori într-o listă s-au adunat intrări repetate în urma exportării, copierii sau combinării mai multor surse.

• Exporturile din Excel și Google Sheets conțin adesea adrese de e-mail, numere de referință sau coduri de stoc repetate după îmbinarea foilor de calcul.
• Fișierele de import pentru Mailchimp pot necesita eliminarea rândurilor cu adrese de e-mail duplicate înainte de încărcare. Totuși, eliminarea liniilor nu validează adresele și nu reconciliază înregistrările de contact separate.
• Prelucrarea produselor Shopify poate genera SKU-uri repetate atunci când valorile sunt copiate din mai multe rapoarte.
• Exporturile din Google Search Console pot fi combinate într-o listă de adrese URL, cu câte una pe fiecare linie, apoi curățate înainte de analiza ulterioară.
• Fișierele de configurare GitHub, inclusiv listele simple de permisiuni și listele de ignorare, pot conține intrări identice adăugate de colaboratori diferiți.

Este util să păstrezi o copie nemodificată a sursei, ca să poți recupera liniile eliminate ca duplicate. Dacă un aparent duplicat rămâne în listă, examinează-l într-un editor de text simplu care poate afișa spațiile de la sfârșitul liniei și alte caractere invizibile.

Cum sunt tratate spațiile, majusculele și semnele de punctuație?

Instrumentul compară valorile complete ale liniilor, așa că orice diferență din interiorul unei linii poate împiedica identificarea a două intrări ca fiind identice.

De exemplu, "Manchester", "manchester" și "Manchester " sunt șiruri distincte, deoarece diferă prin majusculă sau prin spațiul de la final. Cifrele și semnele de punctuație sunt incluse și ele în comparație, așadar "INV-104" nu corespunde cu "INV104". Operația nu deduce că două valori formatate diferit se referă la același client, aceeași adresă URL sau același produs.

Textul cu diacritice și cel scris cu alfabete nelatine pot fi stocate ca șiruri pe linii, însă textele Unicode care arată identic pot avea secvențe de caractere diferite la nivel intern. Astfel de linii pot rămâne separate dacă textul nu este normalizat în prealabil. Dacă liniile goale ajung la array_unique ca valori goale repetate, este păstrată numai prima valoare goală.

Pentru fișiere foarte mari, o comandă dintr-o aplicație de calcul tabelar sau un script poate fi mai practic decât inserarea conținutului într-un instrument din browser pentru eliminarea duplicatelor din întregul set de linii.

Cum interpretez rezultatul?

Câmpurile rezultatului arată numărul inițial de linii, numărul de linii rămase și numărul celor eliminate.

• Rânduri reprezintă numărul de linii din lista trimisă.
• Linii noi reprezintă numărul de linii rămase după eliminarea valorilor duplicate.
• Linii eliminate arată câte valori repetate au fost înlăturate.

Compară numărul de linii eliminate cu cel la care te așteptai. Un număr neașteptat de mic înseamnă adesea că liniile diferă prin spații, majuscule sau semne de punctuație. Un număr neașteptat de mare poate indica faptul că rândurile repetate aveau o semnificație în datele originale, de exemplu tranzacții separate cu descrieri identice.

Exemple practice cu linii

Pentru liniile de intrare "pear", "apple" și "pear", rezultatul conține liniile "pear" și "apple". A doua apariție a valorii "pear" este eliminată, iar ordinea primelor apariții este păstrată.

Pentru "London", "london" și "London " cu un spațiu la final, toate cele trei valori sunt distincte în cazul unei comparații directe a șirurilor. Uniformizarea literelor mari și mici și eliminarea spațiilor din jur ar reprezenta o operație separată.

Dacă valorile sunt separate prin virgule, nu prin linii noi, folosește mai întâi Separator de text pentru a pune fiecare valoare pe propria linie. Eliminarea duplicatelor se aplică liniilor, nu cuvintelor individuale sau câmpurilor separate prin virgule din interiorul unei linii.

Întrebări frecvente

Pot elimina duplicatele dintr-un fișier CSV?

Poți insera conținut CSV, dar operația compară rândurile întregi ca linii. Nu va elimina duplicatele dintr-o singură coloană păstrând în același timp datele diferite din coloanele învecinate. Pentru compararea pe baza unei coloane, folosește comanda Remove Duplicates din Excel, Google Sheets sau un script care poate interpreta formatul CSV.

De ce elementele numerotate ale unei liste nu sunt considerate duplicate?

Numerele de la început fac parte din fiecare linie, deci "1. Bristol" și "2. Bristol" sunt valori diferite. Dacă vrei să compari denumirea localității, elimină numerotarea înainte de deduplicare.

Este sigur să inserez informații confidențiale?

Procesarea are loc pe server. Datele introduse sunt transmise serverului prin HTTPS și nu sunt stocate, însă părăsesc dispozitivul în timpul procesării. Nu trimite date confidențiale sau reglementate dacă politica organizației tale interzice transmiterea lor către un serviciu extern.

Pot folosi instrumentul pentru a curăța JSON sau cod sursă?

Eliminarea automată a liniilor repetate poate deteriora JSON, codul sursă și alte formate structurate în care repetarea textului poate fi intenționată. Folosește un parser, un instrument de formatare sau unul dedicat limbajului respectiv atunci când structura și poziția liniilor influențează semnificația.

Verificări finale

Examinează lista curățată înainte de a o importa, mai ales când liniile duplicate pot reprezenta comenzi, plăți sau evenimente separate. Păstrează fișierul original până când sistemul de destinație acceptă datele revizuite și verifici liniile păstrate și eliminate de instrument.