Trình loại bỏ dòng trùng lặp

Trình loại bỏ dòng trùng lặp là công cụ miễn phí giúp xóa các dòng lặp lại trong văn bản bạn dán vào và cho biết còn lại bao nhiêu dòng.

Làm thế nào để xóa các dòng trùng lặp?

Dán văn bản sao cho mỗi dòng chứa một mục, chạy công cụ, rồi sao chép kết quả đã làm sạch.

1. Sắp xếp dữ liệu nguồn để mỗi địa chỉ email, URL, mã sản phẩm hoặc giá trị khác nằm trên một dòng riêng.
2. Gửi văn bản để xóa các dòng trùng lặp.
3. Kiểm tra số liệu được báo và xem lại các dòng đã làm sạch trước khi sử dụng ở nơi khác.

Công cụ sử dụng thao tác array_unique của PHP. Khi một dòng xuất hiện nhiều lần, lần xuất hiện đầu tiên được giữ lại, còn các lần trùng khớp sau đó sẽ bị xóa.

Khi nào việc xóa dòng trùng lặp giúp tiết kiệm thời gian?

Thao tác này giúp tiết kiệm thời gian khi danh sách có các mục lặp lại do xuất dữ liệu, sao chép hoặc gộp nhiều nguồn.

• Dữ liệu xuất từ Excel và Google Sheets thường có địa chỉ email, số tham chiếu hoặc mã hàng bị lặp sau khi gộp các trang tính.
• Tệp nhập vào Mailchimp có thể cần xóa các dòng email trùng lặp trước khi tải lên. Tuy nhiên, việc xóa dòng không xác thực địa chỉ và cũng không đối chiếu các hồ sơ liên hệ riêng biệt.
• Quá trình xử lý sản phẩm trên Shopify có thể tạo ra các SKU trùng lặp khi giá trị được sao chép từ nhiều báo cáo.
• Dữ liệu xuất từ Google Search Console có thể được gộp thành danh sách URL, mỗi URL một dòng, rồi làm sạch trước khi phân tích thêm.
• Tệp cấu hình GitHub, bao gồm các danh sách cho phép và danh sách bỏ qua đơn giản, có thể chứa những mục giống hệt nhau do nhiều người cùng thêm vào.

Bạn nên giữ một bản dữ liệu nguồn chưa chỉnh sửa để có thể khôi phục bất kỳ dòng nào bị xóa vì được coi là trùng lặp. Nếu một dòng có vẻ trùng nhưng vẫn còn, hãy kiểm tra bằng trình soạn thảo văn bản thuần có thể hiển thị dấu cách ở cuối dòng và các ký tự ẩn khác.

Công cụ xử lý dấu cách, chữ hoa và dấu câu như thế nào?

Công cụ so sánh toàn bộ giá trị của từng dòng, vì vậy chỉ một khác biệt trong dòng cũng có thể khiến hai mục không được coi là trùng nhau.

Ví dụ, "Manchester", "manchester" và "Manchester " là ba chuỗi riêng biệt vì khác cách viết hoa hoặc có dấu cách ở cuối. Chữ số và dấu câu cũng được đưa vào phép so sánh, nên "INV-104" không trùng với "INV104". Công cụ không tự suy đoán rằng hai giá trị có định dạng khác nhau cùng chỉ một khách hàng, URL hoặc sản phẩm.

Văn bản có dấu và văn bản dùng hệ chữ phi Latin có thể được lưu dưới dạng chuỗi theo dòng, nhưng các văn bản Unicode trông giống hệt nhau có thể dùng những chuỗi ký tự nền khác nhau. Các dòng đó có thể vẫn được coi là riêng biệt nếu văn bản chưa được chuẩn hóa trước. Nếu nhiều dòng trống được chuyển tới array_unique dưới dạng các giá trị rỗng lặp lại, chỉ giá trị rỗng đầu tiên được giữ lại.

Với tệp rất lớn, dùng lệnh trong bảng tính hoặc tập lệnh để loại bỏ dòng trùng lặp trong toàn bộ dữ liệu có thể thực tế hơn việc dán vào một công cụ trên trình duyệt.

Đọc kết quả như thế nào?

Các trường kết quả cho biết số dòng ban đầu, số dòng còn lại và số dòng đã xóa.

• Dòng là tổng số dòng trong danh sách đã gửi.
• Dòng mới là số dòng còn lại sau khi xóa các giá trị trùng lặp.
• Đã xóa các dòng cho biết có bao nhiêu giá trị lặp lại đã bị loại bỏ.

Hãy đối chiếu số dòng đã xóa với dự kiến của bạn. Nếu con số thấp bất thường, các dòng thường đang khác nhau ở dấu cách, cách viết hoa hoặc dấu câu. Nếu con số cao bất thường, có thể những dòng lặp lại mang ý nghĩa riêng trong dữ liệu gốc, chẳng hạn các giao dịch riêng biệt nhưng có cùng mô tả.

Ví dụ xử lý dòng

Với các dòng đầu vào "pear", "apple" và "pear", kết quả là "pear" và "apple". Lần xuất hiện thứ hai của "pear" bị xóa, còn thứ tự xuất hiện đầu tiên được giữ nguyên.

Với "London", "london" và "London " có dấu cách ở cuối, cả ba đều là các giá trị khác nhau khi so sánh chuỗi trực tiếp. Việc chuẩn hóa chữ hoa, chữ thường và xóa khoảng trắng ở đầu hoặc cuối là một thao tác riêng.

Nếu các giá trị được phân tách bằng dấu phẩy thay vì dấu xuống dòng, trước tiên hãy dùng Dấu phân cách văn bản để đưa mỗi giá trị vào một dòng riêng. Tính năng loại bỏ trùng lặp xử lý theo dòng, không xử lý từng từ hoặc từng trường được phân tách bằng dấu phẩy trong cùng một dòng.

Câu hỏi thường gặp

Tôi có thể xóa dữ liệu trùng lặp trong tệp CSV không?

Bạn có thể dán nội dung CSV, nhưng công cụ sẽ so sánh toàn bộ từng hàng dưới dạng một dòng. Công cụ không thể loại bỏ dữ liệu trùng lặp trong một cột mà vẫn giữ nguyên dữ liệu khác nhau ở các cột bên cạnh. Nếu cần đối chiếu theo cột, hãy dùng lệnh Remove Duplicates của Excel, Google Sheets hoặc một tập lệnh có hỗ trợ CSV.

Tại sao các mục trong danh sách đánh số không được coi là trùng lặp?

Số ở đầu là một phần của mỗi dòng, vì vậy "1. Bristol" và "2. Bristol" là hai giá trị khác nhau. Nếu muốn so sánh theo tên địa điểm, hãy xóa số thứ tự trước khi loại bỏ các mục trùng lặp.

Dán thông tin bảo mật vào đây có an toàn không?

Quá trình xử lý diễn ra trên máy chủ. Dữ liệu bạn nhập được truyền tới máy chủ qua HTTPS và không được lưu trữ, nhưng vẫn rời khỏi thiết bị trong khi xử lý. Không gửi dữ liệu bảo mật hoặc dữ liệu chịu sự quản lý theo quy định nếu chính sách của tổ chức bạn cấm chuyển dữ liệu đó tới dịch vụ bên ngoài.

Tôi có thể dùng công cụ để làm sạch JSON hoặc mã nguồn không?

Xóa các dòng lặp lại mà không xét ngữ cảnh có thể làm hỏng JSON, mã nguồn và các định dạng có cấu trúc khác, nơi văn bản lặp lại có thể là chủ ý. Hãy dùng trình phân tích cú pháp, trình định dạng hoặc công cụ dành riêng cho ngôn ngữ khi cấu trúc và vị trí dòng ảnh hưởng đến ý nghĩa.

Kiểm tra lần cuối

Hãy xem lại danh sách đã làm sạch trước khi nhập, đặc biệt khi các dòng trùng lặp có thể đại diện cho những đơn hàng, khoản thanh toán hoặc sự kiện riêng biệt. Giữ tệp gốc cho đến khi hệ thống đích chấp nhận dữ liệu đã chỉnh sửa và bạn đã kiểm tra những dòng được công cụ giữ lại cũng như xóa đi.