Видалення повторюваних рядків

Видалення повторюваних рядків — це безплатний інструмент, який видаляє повтори з вставленого тексту й показує, скільки рядків залишилося.

Як видалити повторювані рядки?

Встав текст, у якому кожен елемент розміщено в окремому рядку, запусти обробку, а потім скопіюй очищений результат.

1. Підготуй вихідні дані так, щоб кожна адреса електронної пошти, URL-адреса, код товару або інше значення містилися в окремому рядку.
2. Надішли текст на видалення повторів.
3. Перевір зазначену кількість рядків і переглянь очищений список, перш ніж використовувати його деінде.

Інструмент використовує операцію array_unique у PHP. Якщо той самий рядок трапляється кілька разів, перший екземпляр зберігається, а всі наступні збіги видаляються.

Коли видалення повторюваних рядків заощаджує час?

Це заощаджує час, коли в списку накопичуються повтори через експорт, копіювання або об'єднання даних із кількох джерел.

• Експортовані файли Excel і Google Таблиць після об'єднання аркушів часто містять повторювані адреси електронної пошти, номери для довідки або складські коди.
• Файли для імпорту в Mailchimp іноді потрібно очистити від рядків із повторюваними адресами електронної пошти перед завантаженням. Однак видалення рядків не перевіряє правильність адрес і не узгоджує окремі записи контактів.
• Робота з товарами Shopify може призводити до появи повторюваних SKU, якщо значення копіюють із кількох звітів.
• Експортовані дані Google Search Console можна об'єднати в список, де кожна URL-адреса розміщена в окремому рядку, а потім очистити перед подальшим аналізом.
• Файли конфігурації GitHub, зокрема прості списки дозволів та ігнорування, можуть містити однакові записи, додані різними учасниками.

Варто зберігати незмінену копію вихідних даних, щоб за потреби відновити рядки, видалені як повтори. Якщо очевидний повтор залишився, переглянь його в текстовому редакторі, який дає змогу побачити кінцеві пробіли та інші невидимі символи.

Як інструмент враховує пробіли, регістр і розділові знаки?

Інструмент порівнює повні значення рядків, тому будь-яка відмінність усередині рядка може завадити виявленню збігу.

Наприклад, "Manchester", "manchester" і "Manchester " вважаються різними рядками через відмінності в регістрі або кінцевий пробіл. Цифри й розділові знаки також враховуються під час порівняння, тому "INV-104" не збігається з "INV104". Інструмент не визначає, що два по-різному оформлені значення стосуються того самого клієнта, URL-адреси чи товару.

Текст із діакритичними знаками та символами нелатинських систем письма можна зберігати як рядкові значення, але візуально однаковий текст Unicode може складатися з різних послідовностей символів. Такі рядки залишаться окремими, якщо заздалегідь не нормалізувати текст. Якщо array_unique отримує кілька порожніх рядків як повторювані порожні значення, зберігається лише перше з них.

Для дуже великих файлів зручніше скористатися командою в електронній таблиці або скриптом, який видалить повтори з усього набору рядків, замість того щоб вставляти його в браузерний інструмент.

Як читати результат?

У полях результату показано початкову кількість рядків, кількість рядків після обробки та кількість видалених рядків.

• Рядки показують кількість рядків у надісланому списку.
• Нові рядки показують кількість рядків після видалення повторюваних значень.
• Видалені рядки показують, скільки повторюваних значень було вилучено.

Зістав кількість видалених рядків зі своїми очікуваннями. Якщо число несподівано мале, рядки часто відрізняються пробілами, регістром або розділовими знаками. Несподівано велике число може означати, що повторювані рядки мали значення у вихідних даних, наприклад позначали окремі транзакції з однаковими описами.

Приклади обробки рядків

Якщо ввести рядки "pear", "apple" і "pear", результат міститиме "pear" та "apple". Другий екземпляр "pear" буде видалено, а порядок перших входжень збережеться.

У разі прямого порівняння рядків усі три значення "London", "london" і "London " з кінцевим пробілом вважаються різними. Попереднє вирівнювання регістру та видалення пробілів на початку й у кінці є окремою операцією.

Якщо значення відокремлено комами, а не переносами рядків, спочатку скористайся інструментом Роздільник тексту, щоб розмістити кожне значення в окремому рядку. Повтори видаляються на рівні рядків, а не окремих слів чи полів, розділених комами в межах одного рядка.

Поширені запитання

Чи можна видалити повтори з CSV-файлу?

Вміст CSV-файлу можна вставити в інструмент, але він порівнюватиме цілі рядки. Видалити повтори лише в одному стовпці зі збереженням відмінних даних у сусідніх стовпцях не вдасться. Для зіставлення за стовпцями скористайся командою "Видалити дублікати" в Excel, Google Таблицями або скриптом, який підтримує CSV.

Чому пронумеровані елементи списку не вважаються повторами?

Номери на початку є частиною кожного рядка, тому "1. Bristol" і "2. Bristol" вважаються різними значеннями. Якщо потрібно порівнювати саме назви місць, видали нумерацію перед пошуком повторів.

Чи безпечно вставляти конфіденційну інформацію?

Обробка виконується на сервері. Введені дані передаються на сервер через HTTPS і не зберігаються, але під час обробки вони залишають твій пристрій. Не надсилай конфіденційні або регульовані дані, якщо політика твоєї організації забороняє передавати їх зовнішнім сервісам.

Чи можна так очищати JSON або програмний код?

Безумовне видалення повторюваних рядків може пошкодити JSON, вихідний код та інші структуровані формати, у яких повторення тексту може бути навмисним. Якщо структура й розташування рядків впливають на зміст, використовуй парсер, засіб форматування або спеціалізований інструмент для відповідної мови.

Остаточна перевірка

Переглянь очищений список перед імпортом, особливо якщо однакові рядки можуть позначати окремі замовлення, платежі або події. Зберігай вихідний файл, доки цільова система не прийме оновлені дані, а ти не перевіриш рядки, які інструмент залишив і видалив.