ตัวลบรายการบรรทัดซ้ำ

ตัวลบรายการบรรทัดซ้ำเป็นเครื่องมือฟรีสำหรับลบบรรทัดที่ซ้ำกันออกจากข้อความที่วาง พร้อมรายงานจำนวนบรรทัดที่เหลือ

ลบบรรทัดที่ซ้ำกันอย่างไร?

วางข้อความโดยแยกแต่ละรายการไว้คนละบรรทัด เรียกใช้เครื่องมือ แล้วคัดลอกผลลัพธ์ที่จัดการเรียบร้อยแล้ว

1. จัดข้อมูลต้นฉบับให้อีเมล URL รหัสสินค้า หรือค่าอื่นแต่ละรายการอยู่คนละบรรทัด
2. ส่งข้อความให้เครื่องมือลบบรรทัดที่ซ้ำกัน
3. ตรวจสอบจำนวนที่รายงานและทบทวนบรรทัดที่เหลือก่อนนำไปใช้งานต่อ

เครื่องมือนี้ใช้คำสั่ง array_unique ของ PHP เมื่อพบบรรทัดเดียวกันมากกว่าหนึ่งครั้ง ระบบจะเก็บรายการแรกไว้และลบรายการเดียวกันที่ปรากฏในภายหลัง

การลบบรรทัดซ้ำช่วยประหยัดเวลาในกรณีใดบ้าง?

การลบบรรทัดซ้ำช่วยประหยัดเวลาเมื่อรายการมีข้อมูลซ้ำสะสมจากการส่งออก การคัดลอก หรือการรวมข้อมูลจากหลายแหล่ง

• ไฟล์ที่ส่งออกจาก Excel และ Google Sheets มักมีอีเมล หมายเลขอ้างอิง หรือรหัสสินค้าคงคลังซ้ำกันหลังรวมแผ่นงาน
• ไฟล์สำหรับนำเข้า Mailchimp อาจต้องลบแถวอีเมลที่ซ้ำกันก่อนอัปโหลด แต่การลบบรรทัดไม่ได้ตรวจสอบว่าอีเมลถูกต้องหรือรวมระเบียนผู้ติดต่อที่แยกจากกันให้
• งานจัดการสินค้าใน Shopify อาจมี SKU ซ้ำเมื่อคัดลอกค่ามาจากรายงานมากกว่าหนึ่งฉบับ
• ไฟล์ที่ส่งออกจาก Google Search Console สามารถนำมารวมเป็นรายการ URL แบบหนึ่งรายการต่อบรรทัด แล้วลบค่าซ้ำก่อนวิเคราะห์ต่อได้
• ไฟล์กำหนดค่าของ GitHub รวมถึงรายการอนุญาตและรายการละเว้นแบบง่าย อาจมีรายการเหมือนกันที่ผู้ร่วมพัฒนาหลายคนเพิ่มเข้ามา

ควรเก็บสำเนาต้นฉบับที่ยังไม่ได้แก้ไขไว้เสมอ เพื่อให้กู้คืนบรรทัดที่ถูกลบในฐานะรายการซ้ำได้ หากรายการที่ดูเหมือนซ้ำยังคงอยู่ ให้ตรวจสอบด้วยโปรแกรมแก้ไขข้อความธรรมดาที่แสดงช่องว่างท้ายบรรทัดและอักขระที่มองไม่เห็นอื่นๆ ได้

เครื่องมือจัดการช่องว่าง ตัวพิมพ์ใหญ่ และเครื่องหมายวรรคตอนอย่างไร?

เครื่องมือจะเปรียบเทียบค่าทั้งบรรทัด ดังนั้นความแตกต่างภายในบรรทัดอาจทำให้สองรายการไม่ตรงกัน

ตัวอย่างเช่น "Manchester", "manchester" และ "Manchester " ถือเป็นสตริงคนละค่า เพราะใช้ตัวพิมพ์ต่างกันหรือมีช่องว่างต่อท้าย ตัวเลขและเครื่องหมายวรรคตอนก็เป็นส่วนหนึ่งของการเปรียบเทียบเช่นกัน ดังนั้น "INV-104" จึงไม่ตรงกับ "INV104" ระบบจะไม่อนุมานว่าค่าที่จัดรูปแบบต่างกันหมายถึงลูกค้า URL หรือสินค้ารายการเดียวกัน

ข้อความที่มีอักขระเน้นเสียงและข้อความที่ไม่ใช่อักษรละตินสามารถจัดเก็บเป็นสตริงแต่ละบรรทัดได้ แต่ข้อความ Unicode ที่ดูเหมือนกันอาจประกอบด้วยลำดับอักขระเบื้องหลังต่างกัน บรรทัดเหล่านี้จึงอาจยังถูกแยกเป็นคนละค่า เว้นแต่จะปรับข้อความให้อยู่ในรูปแบบมาตรฐานก่อน หากมีบรรทัดว่างซ้ำกันส่งไปถึง array_unique ในรูปของค่าว่าง ระบบจะเก็บค่าว่างแรกไว้เพียงค่าเดียว

สำหรับไฟล์ขนาดใหญ่มาก การใช้คำสั่งในสเปรดชีตหรือสคริปต์เพื่อลบรายการซ้ำจากบรรทัดทั้งหมดอาจสะดวกกว่าการวางข้อมูลลงในเครื่องมือบนเบราว์เซอร์

ดูผลลัพธ์อย่างไร?

ช่องผลลัพธ์จะแสดงจำนวนบรรทัดเดิม จำนวนบรรทัดที่เหลือ และจำนวนบรรทัดที่ถูกลบ

• บรรทัด คือจำนวนบรรทัดในรายการที่ส่งเข้ามา
• บรรทัดใหม่ คือจำนวนบรรทัดหลังลบค่าที่ซ้ำกันแล้ว
• บรรทัดที่ลบ แสดงจำนวนค่าซ้ำที่ถูกนำออก

ตรวจสอบว่าจำนวนบรรทัดที่ลบตรงกับที่คาดไว้หรือไม่ หากตัวเลขต่ำกว่าที่คาดมาก มักหมายความว่าบรรทัดต่างกันตรงช่องว่าง ตัวพิมพ์ใหญ่เล็ก หรือเครื่องหมายวรรคตอน หากตัวเลขสูงกว่าที่คาดมาก อาจแสดงว่าแถวซ้ำมีความหมายในข้อมูลต้นฉบับ เช่น เป็นธุรกรรมคนละรายการที่มีคำอธิบายเหมือนกัน

ตัวอย่างการลบบรรทัดซ้ำ

เมื่อป้อนบรรทัด "pear", "apple" และ "pear" ผลลัพธ์จะเป็น "pear" และ "apple" โดย "pear" ที่ปรากฏครั้งที่สองจะถูกลบ ส่วนลำดับของค่าที่ปรากฏครั้งแรกจะยังคงเดิม

สำหรับ "London", "london" และ "London " ซึ่งมีช่องว่างต่อท้าย ทั้งสามค่าถือว่าแตกต่างกันเมื่อเปรียบเทียบสตริงโดยตรง การปรับตัวพิมพ์และลบช่องว่างรอบข้อความก่อนเป็นอีกขั้นตอนหนึ่งที่ต้องทำแยกกัน

หากค่าคั่นด้วยเครื่องหมายจุลภาคแทนการขึ้นบรรทัดใหม่ ให้ใช้ตัวคั่นข้อความก่อนเพื่อแยกแต่ละค่าให้อยู่คนละบรรทัด การลบรายการซ้ำจะทำงานกับทั้งบรรทัด ไม่ได้ตรวจทีละคำหรือแต่ละช่องที่คั่นด้วยเครื่องหมายจุลภาคภายในบรรทัด

คำถามที่พบบ่อย

ลบข้อมูลซ้ำจากไฟล์ CSV ได้ไหม?

วางเนื้อหาจากไฟล์ CSV ได้ แต่ระบบจะเปรียบเทียบทั้งแถวในฐานะหนึ่งบรรทัด ไม่สามารถลบค่าซ้ำเฉพาะคอลัมน์หนึ่งโดยเก็บข้อมูลที่แตกต่างกันในคอลัมน์ข้างเคียงไว้ได้ หากต้องการจับคู่ตามคอลัมน์ ให้ใช้คำสั่ง Remove Duplicates ใน Excel, Google Sheets หรือสคริปต์ที่รองรับ CSV

ทำไมรายการที่มีเลขลำดับถึงไม่ถือว่าซ้ำกัน?

ตัวเลขที่อยู่ต้นบรรทัดเป็นส่วนหนึ่งของค่าแต่ละบรรทัด ดังนั้น "1. Bristol" และ "2. Bristol" จึงเป็นคนละค่า หากต้องการเปรียบเทียบเฉพาะชื่อสถานที่ ให้ลบเลขลำดับออกก่อนลบรายการซ้ำ

วางข้อมูลลับลงในเครื่องมือนี้ปลอดภัยไหม?

การประมวลผลเกิดขึ้นบนเซิร์ฟเวอร์ ข้อมูลที่ป้อนจะถูกส่งไปยังเซิร์ฟเวอร์ผ่าน HTTPS และไม่มีการจัดเก็บ แต่ข้อมูลจะออกจากอุปกรณ์ของคุณระหว่างการประมวลผล อย่าส่งข้อมูลลับหรือข้อมูลที่อยู่ภายใต้ข้อกำกับ หากนโยบายขององค์กรห้ามส่งข้อมูลดังกล่าวไปยังบริการภายนอก

ใช้ล้างข้อมูล JSON หรือโค้ดโปรแกรมได้ไหม?

การลบบรรทัดที่ซ้ำกันโดยไม่ตรวจสอบอาจทำให้ JSON ซอร์สโค้ด และรูปแบบข้อมูลที่มีโครงสร้างอื่นๆ เสียหาย เพราะข้อความที่ซ้ำอาจมีอยู่โดยตั้งใจ หากโครงสร้างและตำแหน่งของบรรทัดมีผลต่อความหมาย ให้ใช้ตัวแยกวิเคราะห์ ตัวจัดรูปแบบ หรือเครื่องมือเฉพาะสำหรับภาษานั้น

ตรวจสอบก่อนนำไปใช้

ทบทวนรายการที่ลบข้อมูลซ้ำแล้วก่อนนำเข้า โดยเฉพาะเมื่อบรรทัดซ้ำอาจหมายถึงคำสั่งซื้อ การชำระเงิน หรือเหตุการณ์คนละรายการ เก็บไฟล์ต้นฉบับไว้จนกว่าระบบปลายทางจะรับข้อมูลฉบับแก้ไข และคุณได้ตรวจสอบบรรทัดที่เครื่องมือเก็บไว้และลบออกแล้ว