Pembuang baris pendua

Pembuang baris pendua ialah alat percuma yang membuang baris berulang daripada teks yang ditampal dan melaporkan jumlah baris yang masih tinggal.

Bagaimanakah cara membuang baris pendua?

Tampal teks dengan satu item pada setiap baris, jalankan alat, kemudian salin hasil yang telah dibersihkan.

1. Susun kandungan asal supaya setiap alamat e-mel, URL, kod produk atau nilai lain berada pada barisnya sendiri.
2. Hantar teks untuk membuang baris pendua.
3. Semak jumlah yang dilaporkan dan teliti baris yang telah dibersihkan sebelum menggunakannya di tempat lain.

Alat ini menggunakan operasi array_unique PHP. Apabila baris yang sama muncul lebih daripada sekali, kemunculan pertama dikekalkan dan kemunculan sepadan yang berikutnya dibuang.

Bilakah membuang baris pendua dapat menjimatkan masa?

Langkah ini menjimatkan masa apabila sesuatu senarai mengandungi entri berulang akibat proses eksport, penyalinan atau penggabungan beberapa sumber.

• Eksport Excel dan Google Sheets sering mengandungi alamat e-mel, nombor rujukan atau kod stok berulang selepas lembaran kerja digabungkan.
• Fail import Mailchimp mungkin perlu dibersihkan daripada baris e-mel pendua sebelum dimuat naik. Namun, pembuangan baris tidak mengesahkan alamat atau menyelaraskan rekod kenalan yang berasingan.
• Pengurusan produk Shopify boleh menghasilkan SKU berulang apabila nilai disalin daripada lebih daripada satu laporan.
• Eksport Google Search Console boleh digabungkan menjadi senarai URL, satu URL pada setiap baris, kemudian dibersihkan sebelum analisis lanjut.
• Fail konfigurasi GitHub, termasuk senarai izin dan senarai abaian yang ringkas, mungkin mengandungi entri sama yang ditambahkan oleh penyumbang berlainan.

Sebaik-baiknya, simpan satu salinan sumber tanpa sebarang perubahan supaya anda boleh mendapatkan semula baris yang dibuang sebagai pendua. Jika sesuatu yang kelihatan seperti pendua masih kekal, periksanya dalam editor teks biasa yang boleh memaparkan ruang di hujung baris dan aksara halimunan lain.

Bagaimanakah alat ini mengendalikan ruang, huruf besar dan tanda baca?

Alat ini membandingkan keseluruhan nilai setiap baris. Oleh itu, perbezaan dalam baris boleh menyebabkan dua entri tidak dianggap sepadan.

Contohnya, "Manchester", "manchester" dan "Manchester " ialah rentetan yang berasingan kerana penggunaan huruf besar atau ruang di hujungnya berbeza. Nombor dan tanda baca turut diambil kira, jadi "INV-104" tidak sepadan dengan "INV104". Operasi ini tidak membuat kesimpulan bahawa dua nilai dengan format berlainan merujuk kepada pelanggan, URL atau produk yang sama.

Teks beraksen dan teks bukan Latin boleh disimpan sebagai rentetan baris, tetapi teks Unicode yang kelihatan sama mungkin menggunakan jujukan aksara asas yang berbeza. Baris tersebut boleh kekal berasingan melainkan teks dinormalkan terlebih dahulu. Jika baris kosong dihantar kepada array_unique sebagai nilai kosong yang berulang, hanya nilai kosong pertama dikekalkan.

Untuk fail yang sangat besar, arahan hamparan atau skrip mungkin lebih praktikal untuk membuang pendua daripada keseluruhan set baris berbanding menampalnya ke dalam alat pelayar.

Bagaimanakah cara membaca hasilnya?

Medan hasil menunjukkan jumlah baris asal, jumlah baris yang masih tinggal dan jumlah yang dibuang.

• Baris ialah jumlah baris dalam senarai yang dihantar.
• Baris baharu ialah jumlah baris selepas nilai pendua dibuang.
• Baris dibuang menunjukkan bilangan nilai berulang yang telah disingkirkan.

Bandingkan jumlah yang dibuang dengan jangkaan anda. Jumlah yang terlalu rendah selalunya bermakna terdapat perbezaan dari segi ruang, penggunaan huruf besar atau tanda baca. Jumlah yang terlalu tinggi pula mungkin menunjukkan bahawa baris berulang mempunyai makna tersendiri dalam data asal, seperti transaksi berasingan dengan keterangan yang sama.

Contoh penggunaan

Bagi baris input "pear", "apple" dan "pear", baris yang terhasil ialah "pear" dan "apple". Kemunculan kedua "pear" dibuang, manakala susunan kemunculan pertama dikekalkan.

Bagi "London", "london" dan "London " yang mempunyai ruang di hujungnya, ketiga-tiga nilai dianggap berbeza melalui perbandingan rentetan secara langsung. Penyeragaman huruf besar dan kecil serta pembuangan ruang di sekeliling nilai perlu dilakukan secara berasingan.

Jika nilai dipisahkan dengan koma dan bukannya pemisah baris, gunakan Pemisah teks terlebih dahulu untuk meletakkan setiap nilai pada barisnya sendiri. Pembuangan pendua memproses baris, bukan perkataan individu atau medan dipisahkan koma dalam sesuatu baris.

Soalan lazim

Bolehkah saya membuang pendua daripada fail CSV?

Anda boleh menampal kandungan CSV, tetapi operasi ini membandingkan keseluruhan baris. Ia tidak akan membuang pendua dalam satu lajur sambil mengekalkan data berlainan dalam lajur bersebelahan. Untuk pemadanan berdasarkan lajur, gunakan arahan Remove Duplicates dalam Excel, Google Sheets atau skrip yang memahami format CSV.

Mengapakah item dalam senarai bernombor tidak dianggap sebagai pendua?

Nombor di hadapan ialah sebahagian daripada setiap baris, jadi "1. Bristol" dan "2. Bristol" merupakan nilai yang berbeza. Buang penomboran sebelum membuang pendua jika nama tempat ialah nilai yang perlu dibandingkan.

Selamatkah saya menampal maklumat sulit?

Pemprosesan dilakukan pada pelayan. Input anda dihantar ke pelayan melalui HTTPS dan tidak disimpan, tetapi data tersebut tetap meninggalkan peranti anda semasa diproses. Jangan hantar data sulit atau data terkawal jika dasar organisasi anda melarang penghantarannya kepada perkhidmatan luar.

Bolehkah alat ini digunakan untuk membersihkan JSON atau kod program?

Membuang baris berulang tanpa mengambil kira konteks boleh merosakkan JSON, kod sumber dan format berstruktur lain yang mungkin sengaja mengandungi teks berulang. Gunakan penghurai, pemformat atau alat khusus bahasa apabila struktur dan kedudukan baris mempengaruhi makna.

Semakan akhir

Semak senarai yang telah dibersihkan sebelum mengimportnya, terutamanya jika baris pendua mungkin mewakili pesanan, pembayaran atau peristiwa yang berasingan. Simpan fail asal sehingga sistem destinasi menerima data yang disemak, dan anda telah memeriksa baris yang dikekalkan serta dibuang oleh alat ini.