Удаление повторяющихся строк

Убирайте дубликаты из списков без ущерба для приватности

Повторяющиеся строки встречаются повсюду: в выгруженных списках адресов электронной почты, скопированных столбцах таблиц, подборках ключевых слов, журналах серверов, идентификаторах товаров, ключах переводов и заметках, собранных из нескольких документов. Этот инструмент удаляет повторы локально в вашем браузере, оставляя первое вхождение и отбрасывая последующие совпадения. Этапа загрузки нет, поэтому вы можете очищать конфиденциальные списки, не передавая их внешнему сервису и не создавая ещё одну копию в сети.

Дедупликация по строкам намеренно проста. Каждая строка считается отдельным элементом, поэтому результат предсказуем для списков и частично структурированного текста. Если две строки совпадают при выбранных параметрах, первая остаётся в результате. Это удобно, когда важен порядок: например, чтобы сохранить первое появление идентификатора клиента или оставить выверенный список в исходной последовательности, убрав случайные повторы.

Обрезка пробелов и сравнение без учёта регистра

Параметр обрезки удаляет пробелы в начале и в конце строки перед сравнением. Так находятся строки, которые кажутся разными только из-за пробелов, скопированных из таблицы, или отступов, скопированных из документа. Параметр игнорирования регистра считает прописные и строчные варианты одним и тем же значением. Включайте его для адресов электронной почты, тегов или меток, введённых вручную; оставляйте выключенным, когда регистр имеет значение, например для символов кода или идентификаторов, чувствительных к регистру.

Типичные сценарии очистки

Вставьте столбец из электронной таблицы, удалите дубликаты и скопируйте чистый список обратно. Объедините два списка ключевых слов и оставьте один уникальный набор. Сократите повторяющиеся сообщения об ошибках перед тем, как поделиться итогами отладки. Очистите пакет URL-адресов перед импортом в другой инструмент. Поскольку страница работает целиком на вашем устройстве, она подходит и для черновиков, и для закрытых рабочих данных — при условии, что вы проверяете результат, прежде чем использовать его в важном процессе.

Как и остальные Text Tools, эта страница рассчитана на быструю повторяемую вспомогательную работу, а не на хранение данных в учётной записи. Держите исходный текст под рукой, когда результат важен, проверяйте вывод и копируйте только ту окончательную версию, которую хотите использовать.