Penghapus baris duplikat

Penghapus baris duplikat adalah alat gratis untuk menghapus baris berulang dari teks yang ditempelkan dan melaporkan jumlah baris yang tersisa.

Bagaimana cara menghapus baris duplikat?

Tempelkan teks dengan satu item per baris, jalankan alat, lalu salin hasil yang sudah dibersihkan.

1. Susun data sumber agar setiap alamat email, URL, kode produk, atau nilai lainnya berada di baris tersendiri.
2. Kirim teks untuk menghapus baris duplikat.
3. Periksa jumlah yang dilaporkan dan tinjau baris yang sudah dibersihkan sebelum menggunakannya di tempat lain.

Alat ini menggunakan operasi array_unique dari PHP. Jika baris yang sama muncul lebih dari sekali, kemunculan pertama akan dipertahankan, sedangkan kemunculan berikutnya yang cocok akan dihapus.

Kapan menghapus baris duplikat bisa menghemat waktu?

Langkah ini menghemat waktu ketika sebuah daftar berisi entri berulang akibat ekspor, penyalinan, atau penggabungan beberapa sumber.

• Hasil ekspor Excel dan Google Sheets sering memuat alamat email, nomor referensi, atau kode stok berulang setelah beberapa lembar kerja digabungkan.
• File impor Mailchimp mungkin perlu dibersihkan dari baris email duplikat sebelum diunggah. Namun, penghapusan baris tidak memvalidasi alamat atau menyelaraskan catatan kontak yang terpisah.
• Pengelolaan produk Shopify dapat menghasilkan SKU berulang ketika nilai disalin dari lebih dari satu laporan.
• Hasil ekspor Google Search Console dapat digabungkan menjadi daftar URL per baris, lalu dibersihkan sebelum dianalisis lebih lanjut.
• File konfigurasi GitHub, termasuk daftar izin dan daftar abaikan sederhana, mungkin berisi entri identik yang ditambahkan oleh kontributor berbeda.

Sebaiknya simpan salinan data sumber tanpa perubahan agar baris yang dihapus sebagai duplikat dapat dipulihkan. Jika baris yang tampak duplikat masih tersisa, periksa dengan editor teks biasa yang dapat menampilkan spasi di akhir baris dan karakter tak terlihat lainnya.

Bagaimana alat ini menangani spasi, huruf kapital, dan tanda baca?

Alat ini membandingkan nilai lengkap setiap baris. Karena itu, perbedaan apa pun di dalam baris dapat membuat dua entri dianggap tidak sama.

Misalnya, "Manchester", "manchester", dan "Manchester " dianggap sebagai string yang berbeda karena penggunaan huruf kapital atau spasi di akhir tidak sama. Angka dan tanda baca juga ikut dibandingkan, sehingga "INV-104" tidak cocok dengan "INV104". Operasi ini tidak menyimpulkan bahwa dua nilai dengan format berbeda merujuk kepada pelanggan, URL, atau produk yang sama.

Teks beraksen dan teks non-Latin dapat disimpan sebagai string baris, tetapi teks Unicode yang terlihat identik mungkin menggunakan urutan karakter dasar yang berbeda. Baris seperti ini dapat tetap dianggap berbeda kecuali teks dinormalisasi terlebih dahulu. Jika baris kosong diteruskan ke array_unique sebagai nilai kosong berulang, hanya nilai kosong pertama yang dipertahankan.

Untuk file yang sangat besar, perintah di aplikasi lembar kerja atau skrip mungkin lebih praktis untuk menghapus duplikat dari seluruh kumpulan baris daripada menempelkannya ke alat berbasis browser.

Bagaimana cara membaca hasilnya?

Kolom hasil menampilkan jumlah baris asli, jumlah baris yang tersisa, dan jumlah baris yang dihapus.

• Lines adalah jumlah baris dalam daftar yang dikirimkan.
• Baris baru adalah jumlah baris setelah nilai duplikat dihapus.
• Baris yang dihapus menunjukkan jumlah nilai berulang yang dibuang.

Bandingkan jumlah baris yang dihapus dengan perkiraanmu. Angka yang lebih rendah dari perkiraan sering berarti ada perbedaan spasi, penggunaan huruf kapital, atau tanda baca. Angka yang lebih tinggi dari perkiraan mungkin menunjukkan bahwa baris berulang memiliki makna dalam data asli, misalnya transaksi terpisah dengan deskripsi identik.

Contoh penghapusan baris duplikat

Untuk baris masukan "pear", "apple", dan "pear", hasilnya adalah "pear" dan "apple". Kemunculan kedua "pear" dihapus, sedangkan urutan kemunculan pertama tetap dipertahankan.

Untuk "London", "london", dan "London " yang memiliki spasi di akhir, ketiga nilai tersebut dianggap berbeda dalam perbandingan string langsung. Menyamakan penggunaan huruf kapital dan menghapus spasi di awal atau akhir harus dilakukan secara terpisah.

Jika nilai dipisahkan dengan koma, bukan baris baru, gunakan Pemisah teks terlebih dahulu agar setiap nilai ditempatkan di baris tersendiri. Penghapusan duplikat diterapkan pada baris, bukan pada kata atau kolom yang dipisahkan koma di dalam satu baris.

Pertanyaan umum

Bisakah saya menghapus duplikat dari file CSV?

Kamu dapat menempelkan isi CSV, tetapi alat ini membandingkan setiap baris secara utuh. Alat ini tidak dapat menghapus duplikat pada satu kolom sambil mempertahankan data berbeda di kolom sebelahnya. Untuk pencocokan berdasarkan kolom, gunakan perintah Remove Duplicates di Excel, Google Sheets, atau skrip yang dapat memproses CSV.

Mengapa item dalam daftar bernomor tidak dianggap duplikat?

Nomor di awal merupakan bagian dari setiap baris, sehingga "1. Bristol" dan "2. Bristol" dianggap sebagai nilai yang berbeda. Jika nama tempat adalah nilai yang perlu dibandingkan, hapus penomorannya sebelum menjalankan penghapusan duplikat.

Apakah aman menempelkan informasi rahasia?

Proses dilakukan di server. Masukanmu dikirim ke server melalui HTTPS dan tidak disimpan, tetapi tetap meninggalkan perangkat selama pemrosesan. Jangan kirimkan data rahasia atau data yang diatur secara khusus jika kebijakan organisasimu melarang pengirimannya ke layanan eksternal.

Bisakah alat ini digunakan untuk membersihkan JSON atau kode program?

Menghapus baris berulang tanpa mempertimbangkan strukturnya dapat merusak JSON, kode sumber, dan format terstruktur lainnya yang mungkin sengaja memuat teks berulang. Gunakan parser, pemformat, atau alat khusus bahasa pemrograman jika struktur dan posisi baris memengaruhi makna.

Pemeriksaan akhir

Tinjau daftar yang sudah dibersihkan sebelum mengimpornya, terutama jika baris duplikat mungkin mewakili pesanan, pembayaran, atau peristiwa yang berbeda. Simpan file asli sampai sistem tujuan menerima data yang telah diperbarui dan kamu sudah memeriksa baris yang dipertahankan maupun dihapus oleh alat.