중복 줄 제거기

중복 줄 제거기는 붙여넣은 텍스트에서 반복되는 줄을 제거하고 남은 줄 수를 알려 주는 무료 도구입니다.

중복된 줄은 어떻게 제거하나요?

항목을 한 줄에 하나씩 붙여넣고 도구를 실행한 다음, 정리된 결과를 복사하세요.

1. 이메일 주소, URL, 제품 코드 또는 기타 값이 각각 한 줄에 하나씩 오도록 원본을 정리하세요.
2. 텍스트를 제출해 중복 줄을 제거하세요.
3. 표시된 줄 수를 확인하고, 정리된 줄을 검토한 뒤 다른 곳에 사용하세요.

이 도구는 PHP의 array_unique 연산을 사용합니다. 같은 줄이 두 번 이상 나오면 첫 번째 줄은 유지하고, 이후에 나오는 일치 항목은 제거합니다.

중복 줄 제거는 언제 시간을 절약해 주나요?

내보내기, 복사 또는 여러 출처의 데이터 병합 과정에서 목록에 같은 항목이 반복해서 들어간 경우 시간을 절약할 수 있습니다.

• Excel 및 Google Sheets 내보내기 파일: 여러 워크시트를 병합하고 나면 이메일 주소, 참조 번호 또는 재고 코드가 중복되는 경우가 많습니다.
• Mailchimp 가져오기 파일: 업로드하기 전에 중복된 이메일 행을 제거해야 할 수 있습니다. 다만 줄을 제거한다고 해서 이메일 주소의 유효성이 검증되거나 별도의 연락처 레코드가 하나로 조정되는 것은 아닙니다.
• Shopify 제품 작업: 둘 이상의 보고서에서 값을 복사하면 SKU가 중복될 수 있습니다.
• Google Search Console 내보내기 파일: 여러 파일을 줄 단위 URL 목록으로 합친 뒤 추가 분석 전에 중복을 정리할 수 있습니다.
• GitHub 구성 파일: 단순한 허용 목록과 무시 목록을 포함해, 여러 기여자가 추가한 동일한 항목이 들어 있을 수 있습니다.

중복으로 제거된 줄을 나중에 복구할 수 있도록 원본 사본을 수정하지 않은 채 보관하는 것이 좋습니다. 중복으로 보이는 항목이 그대로 남는다면 후행 공백이나 기타 보이지 않는 문자를 확인할 수 있는 일반 텍스트 편집기에서 살펴보세요.

공백, 대소문자, 문장부호는 어떻게 처리하나요?

각 줄의 전체 값을 비교하므로 줄 안에 차이가 하나라도 있으면 두 항목이 일치하지 않을 수 있습니다.

예를 들어 "Manchester", "manchester", "Manchester "는 대소문자나 후행 공백이 다르므로 서로 다른 문자열입니다. 숫자와 문장부호도 비교에 포함되므로 "INV-104"는 "INV104"와 일치하지 않습니다. 형식이 다른 두 값이 같은 고객, URL 또는 제품을 가리키는지는 도구가 판단하지 않습니다.

악센트 문자가 포함된 텍스트와 비라틴 문자 텍스트도 줄 문자열로 저장할 수 있지만, 화면상 똑같아 보이는 Unicode 텍스트라도 내부 문자 시퀀스는 다를 수 있습니다. 텍스트를 미리 정규화하지 않으면 이런 줄은 별개의 값으로 남을 수 있습니다. 빈 줄이 반복된 빈 값으로 array_unique에 전달되면 첫 번째 빈 값만 유지됩니다.

파일이 매우 크다면 브라우저 도구에 붙여넣기보다 스프레드시트 명령이나 스크립트로 전체 줄의 중복을 제거하는 편이 더 실용적일 수 있습니다.

결과는 어떻게 확인하나요?

결과 필드에는 원래 줄 수, 남은 줄 수, 제거된 줄 수가 표시됩니다.

• 줄: 제출한 목록의 줄 수입니다.
• 새 줄: 중복 값을 제거한 뒤 남은 줄 수입니다.
• 제거된 줄: 버려진 중복 값의 수를 보여 줍니다.

제거된 줄 수가 예상과 맞는지 확인하세요. 예상보다 적다면 공백, 대소문자 또는 문장부호가 달라서 일치하지 않는 경우가 많습니다. 예상보다 많다면 동일한 설명이 붙은 별도 거래처럼, 원본 데이터에서 반복된 행 자체에 의미가 있었을 수 있습니다.

줄 처리 예시

입력 줄이 "pear", "apple", "pear"이면 결과는 "pear"와 "apple"입니다. 두 번째 "pear"는 제거되며, 각 값이 처음 나온 순서는 유지됩니다.

"London", "london", 그리고 후행 공백이 있는 "London "은 직접 문자열 비교에서 모두 서로 다른 값입니다. 대소문자와 앞뒤 공백을 먼저 정리하려면 별도의 작업이 필요합니다.

값이 줄바꿈이 아니라 쉼표로 구분되어 있다면 먼저 텍스트 구분자를 사용해 각 값을 한 줄에 하나씩 배치하세요. 중복 제거는 줄을 기준으로 작동하며, 한 줄 안의 개별 단어나 쉼표로 구분된 필드를 기준으로 처리하지 않습니다.

자주 묻는 질문

CSV 파일에서도 중복을 제거할 수 있나요?

CSV 내용을 붙여넣을 수 있지만 전체 행을 하나의 줄로 비교합니다. 인접한 열의 서로 다른 데이터는 유지하면서 특정 열만 기준으로 중복을 제거하지는 않습니다. 열을 기준으로 비교하려면 Excel의 중복된 항목 제거 명령, Google Sheets 또는 CSV 구조를 인식하는 스크립트를 사용하세요.

번호가 붙은 목록은 왜 중복으로 처리되지 않나요?

앞에 붙은 번호도 각 줄의 일부이므로 "1. Bristol"과 "2. Bristol"은 서로 다른 값입니다. 장소 이름을 기준으로 비교하려면 중복 제거 전에 번호를 삭제하세요.

기밀 정보를 붙여넣어도 안전한가요?

작업은 서버에서 처리됩니다. 입력 내용은 HTTPS를 통해 서버로 전송되며 저장되지는 않지만, 처리 중에는 사용자의 기기를 벗어납니다. 조직 정책상 외부 서비스로 전송할 수 없는 기밀 데이터나 규제 대상 데이터는 제출하지 마세요.

JSON이나 프로그램 코드를 정리하는 데 사용해도 되나요?

반복된 줄을 무조건 제거하면 동일한 텍스트가 의도적으로 쓰일 수 있는 JSON, 소스 코드 및 기타 구조화된 형식이 손상될 수 있습니다. 구조와 줄 위치가 의미에 영향을 준다면 파서, 포매터 또는 해당 언어 전용 도구를 사용하세요.

마지막 확인 사항

중복 줄이 별도의 주문, 결제 또는 이벤트를 나타낼 수 있다면 가져오기 전에 정리된 목록을 반드시 검토하세요. 대상 시스템에서 수정된 데이터를 정상적으로 받아들이고, 도구가 유지하거나 제거한 줄을 확인할 때까지 원본 파일을 보관하세요.