Премахване на дублиращи се редове

Премахване на дублиращи се редове е безплатен инструмент, който премахва повтарящите се редове от поставен текст и показва колко реда са останали.

Как да премахна дублиращите се редове?

Постави текста, като всеки елемент е на отделен ред, стартирай инструмента и копирай почистения резултат.

1. Подреди изходните данни така, че всеки имейл адрес, URL адрес, продуктов код или друга стойност да е на собствен ред.
2. Изпрати текста за премахване на дублиращите се редове.
3. Провери показаните бройки и прегледай почистените редове, преди да ги използваш другаде.

Инструментът използва операцията array_unique на PHP. Когато един и същ ред се среща повече от веднъж, първото му срещане се запазва, а следващите съвпадения се премахват.

Кога премахването на дублиращи се редове спестява време?

То спестява време винаги когато в даден списък са се натрупали повторения след експортиране, копиране или обединяване на няколко източника.

• Експортите от Excel и Google Sheets често съдържат повтарящи се имейл адреси, референтни номера или складови кодове след обединяване на работни листове.
• Файловете за импортиране в Mailchimp може да се нуждаят от премахване на редовете с дублиращи се имейл адреси преди качване. Премахването на редове обаче не проверява валидността на адресите и не обединява отделни записи за контакти.
• Работата с продукти в Shopify може да доведе до повтарящи се SKU кодове, когато стойностите са копирани от повече от един отчет.
• Експортите от Google Search Console могат да се обединят в списък с по един URL адрес на ред и да се почистят преди последващ анализ.
• Конфигурационните файлове в GitHub, включително обикновени списъци с разрешени или игнорирани стойности, може да съдържат еднакви записи, добавени от различни хора.

Добра практика е да запазиш непроменено копие на изходните данни, за да можеш да възстановиш редовете, премахнати като дубликати. Ако привидно еднакъв ред остане, провери го в редактор за обикновен текст, който показва интервалите в края и други невидими знаци.

Как се обработват интервалите, главните букви и пунктуацията?

Сравнява се цялата стойност на всеки ред, затова дори малки разлики в него могат да попречат на съвпадението.

Например "Manchester", "manchester" и "Manchester " са отделни текстови низове заради разликата в главните букви или интервала в края. Числата и препинателните знаци също участват в сравнението, затова "INV-104" не съвпада с "INV104". Операцията не разпознава, че две различно форматирани стойности може да се отнасят за един и същ клиент, URL адрес или продукт.

Текст с диакритични знаци и текст на нелатиница могат да се съхраняват като низове по редове, но визуално еднакъв Unicode текст понякога използва различни последователности от знаци. Такива редове може да останат отделни, освен ако текстът не бъде нормализиран предварително. Ако до array_unique достигнат няколко празни реда като повтарящи се празни стойности, се запазва само първата празна стойност.

При много големи файлове команда в електронна таблица или скрипт може да е по-практично решение за премахване на дубликатите от целия набор, отколкото поставянето му в инструмент през браузъра.

Как да разчета резултата?

Полетата с резултати показват първоначалния брой редове, броя на останалите редове и броя на премахнатите.

• Редове е броят на редовете в изпратения списък.
• Нови редове е броят след премахването на дублиращите се стойности.
• Премахнати редове показва колко повтарящи се стойности са били изтрити.

Сравни броя на премахнатите редове с очаквания резултат. Неочаквано малък брой често означава, че редовете се различават по интервали, главни и малки букви или пунктуация. Неочаквано голям брой може да показва, че повторенията са имали значение в изходните данни, например отделни трансакции с еднакви описания.

Примери с редове

При входни редове "pear", "apple" и "pear" резултатът съдържа "pear" и "apple". Второто срещане на "pear" се премахва, а редът на първите срещания се запазва.

При "London", "london" и "London " с интервал в края и трите стойности са различни при директно сравнение на текстови низове. Уеднаквяването на главните и малките букви и премахването на околните интервали трябва да се извърши отделно.

Ако стойностите са разделени със запетаи, а не с нови редове, първо използвай Разделител на текст, за да поставиш всяка стойност на отделен ред. Премахването на дубликати работи с цели редове, а не с отделни думи или полета, разделени със запетаи в рамките на един ред.

Често задавани въпроси

Мога ли да премахна дубликати от CSV файл?

Можеш да поставиш съдържание от CSV файл, но операцията сравнява целите редове. Тя не може да премахва дубликати само в една колона, като същевременно запазва различните данни в съседните колони. За сравнение по колони използвай командата Remove Duplicates в Excel, Google Sheets или скрипт, който работи с CSV.

Защо номерираните елементи не се разпознават като дубликати?

Номерата в началото са част от всеки ред, затова "1. Bristol" и "2. Bristol" са различни стойности. Ако трябва да се сравнява името на мястото, премахни номерацията преди обработката.

Безопасно ли е да поставям поверителна информация?

Обработката се извършва на сървъра. Въведените данни се изпращат до него през HTTPS и не се съхраняват, но по време на обработката напускат устройството ти. Не изпращай поверителни или регулирани данни, ако правилата на организацията ти забраняват предаването им към външна услуга.

Мога ли да почиствам JSON или програмен код?

Безразборното премахване на повтарящи се редове може да повреди JSON, изходен код и други структурирани формати, в които повторенията може да са умишлени. Когато структурата и позицията на редовете влияят върху значението, използвай парсер, инструмент за форматиране или специализиран инструмент за съответния език.

Последни проверки

Прегледай почистения списък, преди да го импортираш, особено ако дублиращите се редове може да представляват отделни поръчки, плащания или събития. Запази оригиналния файл, докато системата, в която импортираш, приеме коригираните данни и провериш кои редове инструментът е запазил и кои е премахнал.