Удаление дублирующихся строк

Удаление дублирующихся строк - это бесплатный инструмент, который удаляет повторяющиеся строки из вставленного текста и показывает, сколько строк осталось.

Как удалить повторяющиеся строки?

Вставь текст, разместив каждый элемент на отдельной строке, запусти обработку и скопируй очищенный результат.

1. Подготовь исходный текст так, чтобы каждый адрес электронной почты, URL, код товара или другое значение находились на отдельной строке.
2. Отправь текст на удаление дубликатов.
3. Проверь указанное количество строк и просмотри очищенный список, прежде чем использовать его в другом месте.

Инструмент использует функцию PHP array_unique. Если одна и та же строка встречается несколько раз, сохраняется первое вхождение, а все последующие совпадения удаляются.

В каких случаях удаление дубликатов экономит время?

Удаление дубликатов экономит время, если при экспорте, копировании или объединении нескольких источников в списке появились повторяющиеся записи.

• Экспорт из Excel и Google Таблиц: после объединения листов в нем нередко встречаются повторяющиеся адреса электронной почты, регистрационные номера или складские коды.
• Файлы для импорта в Mailchimp: иногда перед загрузкой из них нужно удалить строки с повторяющимися адресами электронной почты. При этом удаление строк не проверяет корректность адресов и не объединяет отдельные записи контактов.
• Работа с товарами Shopify: повторяющиеся SKU могут появиться, если значения скопированы из нескольких отчетов.
• Экспортированные данные Google Search Console: их можно объединить в построчный список URL, а затем очистить перед дальнейшим анализом.
• Конфигурационные файлы GitHub: простые списки разрешений и исключений могут содержать одинаковые записи, добавленные разными участниками.

Полезно сохранять нетронутую копию исходного текста, чтобы при необходимости восстановить строки, удаленные как дубликаты. Если две на вид одинаковые строки не объединяются, проверь их в текстовом редакторе, который отображает пробелы в конце строк и другие невидимые символы.

Как учитываются пробелы, регистр и знаки препинания?

Инструмент сравнивает строки целиком, поэтому различие внутри строки может помешать совпадению двух значений.

Например, "Manchester", "manchester" и "Manchester " считаются разными строками из-за регистра или пробела в конце. Цифры и знаки препинания также учитываются, поэтому "INV-104" не совпадает с "INV104". Инструмент не определяет, относятся ли по-разному записанные значения к одному и тому же клиенту, URL или товару.

Текст с диакритическими знаками и символами нелатинских алфавитов может храниться в строках. Однако визуально одинаковый текст Unicode иногда состоит из разных последовательностей символов. Такие строки могут остаться разными, если заранее не выполнить нормализацию. Если array_unique получает несколько пустых строк как одинаковые пустые значения, сохраняется только первое из них.

Для очень больших файлов удобнее может оказаться команда в электронной таблице или скрипт, который удалит дубликаты во всем наборе строк, а не вставка данных в браузерный инструмент.

Как понять результат?

В результатах указаны исходное количество строк, количество оставшихся строк и число удаленных строк.

• Строки: количество строк в отправленном списке.
• Новые строки: количество строк после удаления повторяющихся значений.
• Удаленные строки: количество исключенных повторяющихся значений.

Сравни количество удаленных строк с ожидаемым. Если их неожиданно мало, строки, вероятно, различаются пробелами, регистром или знаками препинания. Если удалено неожиданно много строк, возможно, повторы имели значение в исходных данных, например обозначали отдельные операции с одинаковым описанием.

Примеры обработки строк

Если ввести строки "pear", "apple" и "pear", результат будет содержать "pear" и "apple". Второе вхождение "pear" удаляется, а порядок первых вхождений сохраняется.

При вводе "London", "london" и "London " с пробелом в конце все три значения считаются разными при прямом сравнении строк. Приведение к одному регистру и удаление пробелов по краям нужно выполнять отдельно.

Если значения разделены запятыми, а не переносами строк, сначала воспользуйся инструментом Разделитель текста, чтобы поместить каждое значение на отдельную строку. Удаление дубликатов работает со строками целиком, а не с отдельными словами или полями, разделенными запятыми внутри одной строки.

Часто задаваемые вопросы

Можно ли удалить дубликаты из CSV-файла?

Содержимое CSV-файла можно вставить в инструмент, но сравниваться будут целые строки. Удалить дубликаты только в одном столбце, сохранив различающиеся данные в соседних столбцах, не получится. Для сравнения по столбцам используй команду удаления дубликатов в Excel, Google Таблицы или скрипт, предназначенный для работы с CSV.

Почему пункты нумерованного списка не считаются дубликатами?

Номера в начале являются частью строки, поэтому "1. Bristol" и "2. Bristol" считаются разными значениями. Если сравнивать нужно только названия мест, удали нумерацию перед поиском дубликатов.

Безопасно ли вставлять конфиденциальные данные?

Обработка выполняется не на устройстве, а на сервере. Введенные данные передаются на сервер по HTTPS и не сохраняются, но во время обработки они покидают твое устройство. Не отправляй конфиденциальные или регулируемые данные, если правила организации запрещают передавать их внешнему сервису.

Можно ли так очищать JSON или программный код?

Удалять повторяющиеся строки из JSON или программного кода без учета структуры рискованно. Это может повредить JSON, исходный код и другие структурированные форматы, где повторы могут быть намеренными. Если структура и положение строки влияют на смысл, используй парсер, средство форматирования или специализированный инструмент для нужного языка.

Что проверить в конце

Просмотри очищенный список перед импортом, особенно если одинаковые строки могут обозначать отдельные заказы, платежи или события. Сохраняй исходный файл, пока целевая система не примет обновленные данные и ты не проверишь, какие строки инструмент сохранил и удалил.