डुप्लिकेट पंक्तियों को हटाने वाला

डुप्लिकेट पंक्तियों को हटाने वाला एक मुफ़्त टूल है, जो चिपकाए गए टेक्स्ट से दोहराई गई पंक्तियां हटाता है और बताता है कि कितनी पंक्तियां बची हैं।

डुप्लिकेट पंक्तियां कैसे हटाएं?

हर पंक्ति में एक आइटम वाला टेक्स्ट चिपकाएं, टूल चलाएं और फिर साफ़ किया गया परिणाम कॉपी कर लें।

1. मूल डेटा को इस तरह व्यवस्थित करें कि हर ईमेल पता, URL, उत्पाद कोड या अन्य मान अलग पंक्ति में हो।
2. डुप्लिकेट हटाने के लिए टेक्स्ट सबमिट करें।
3. बताई गई संख्याएं जांचें और साफ़ की गई पंक्तियों को कहीं और इस्तेमाल करने से पहले उनकी समीक्षा करें।

यह टूल PHP के array_unique ऑपरेशन का उपयोग करता है। जब कोई पंक्ति एक से अधिक बार आती है, तो उसकी पहली आवृत्ति रखी जाती है और बाद की मेल खाती आवृत्तियां हटा दी जाती हैं।

डुप्लिकेट पंक्तियां हटाने से कब समय बचता है?

जब एक्सपोर्ट करने, कॉपी करने या कई स्रोतों को जोड़ने से किसी सूची में प्रविष्टियां दोहराई जाती हैं, तो उन्हें हटाने से समय बचता है।

• Excel और Google Sheets से एक्सपोर्ट की गई फ़ाइलों में वर्कशीट मर्ज करने के बाद अक्सर ईमेल पते, संदर्भ संख्याएं या स्टॉक कोड दोहराए जाते हैं।
• Mailchimp की इंपोर्ट फ़ाइलों से अपलोड करने से पहले डुप्लिकेट ईमेल पंक्तियां हटानी पड़ सकती हैं। हालांकि, पंक्तियां हटाने से ईमेल पतों की वैधता जांची नहीं जाती और अलग-अलग संपर्क रिकॉर्ड का मिलान भी नहीं होता।
• Shopify में उत्पादों पर काम करते समय एक से अधिक रिपोर्ट से मान कॉपी करने पर SKU दोहराए जा सकते हैं।
• Google Search Console से किए गए एक्सपोर्ट को जोड़कर हर पंक्ति में एक URL वाली सूची बनाई जा सकती है और आगे विश्लेषण करने से पहले उसे साफ़ किया जा सकता है।
• GitHub की कॉन्फ़िगरेशन फ़ाइलों में, जिनमें साधारण अनुमति सूचियां और अनदेखा करने वाली सूचियां भी शामिल हैं, अलग-अलग योगदानकर्ताओं की जोड़ी गई एक जैसी प्रविष्टियां हो सकती हैं।

मूल डेटा की एक ऐसी कॉपी रखना अच्छा रहता है जिसमें कोई बदलाव न किया गया हो। इससे डुप्लिकेट मानकर हटाई गई पंक्तियां वापस मिल सकती हैं। अगर कोई पंक्ति डुप्लिकेट दिखने के बावजूद बची हुई है, तो उसे ऐसे सादे टेक्स्ट एडिटर में देखें जो आखिर में मौजूद स्पेस और अन्य अदृश्य वर्ण दिखा सके।

यह स्पेस, बड़े अक्षरों और विराम चिह्नों को कैसे संभालता है?

यह पूरी पंक्ति के मान की तुलना करता है, इसलिए पंक्ति के भीतर कोई भी अंतर दो प्रविष्टियों को मेल खाने से रोक सकता है।

उदाहरण के लिए, "Manchester", "manchester" और "Manchester " अलग-अलग स्ट्रिंग हैं, क्योंकि इनमें अक्षरों का केस या आखिर का स्पेस अलग है। संख्याएं और विराम चिह्न भी तुलना का हिस्सा होते हैं, इसलिए "INV-104" और "INV104" का मिलान नहीं होता। यह ऑपरेशन अपने आप यह निष्कर्ष नहीं निकालता कि अलग फ़ॉर्मैट वाले दो मान एक ही ग्राहक, URL या उत्पाद से जुड़े हैं।

उच्चारण चिह्नों वाले और गैर-लैटिन टेक्स्ट को पंक्ति स्ट्रिंग के रूप में रखा जा सकता है, लेकिन दिखने में एक जैसा Unicode टेक्स्ट भीतर अलग वर्ण-क्रम इस्तेमाल कर सकता है। ऐसे टेक्स्ट को पहले नॉर्मलाइज़ न किया जाए, तो ये पंक्तियां अलग रह सकती हैं। अगर खाली पंक्तियां दोहराए गए खाली मानों के रूप में array_unique तक पहुंचती हैं, तो केवल पहला खाली मान रखा जाता है।

बहुत बड़ी फ़ाइलों की सभी पंक्तियों से डुप्लिकेट हटाने के लिए उन्हें ब्राउज़र टूल में चिपकाने के बजाय किसी स्प्रेडशीट कमांड या स्क्रिप्ट का उपयोग अधिक व्यावहारिक हो सकता है।

परिणाम को कैसे समझें?

परिणाम वाले फ़ील्ड मूल पंक्तियों की संख्या, बची हुई पंक्तियों की संख्या और हटाई गई पंक्तियों की संख्या दिखाते हैं।

• Lines सबमिट की गई सूची की पंक्तियों की संख्या है।
• नई पंक्तियां डुप्लिकेट मान हटाए जाने के बाद बची पंक्तियों की संख्या है।
• हटाई गई पंक्तियां बताता है कि कितने दोहराए गए मान हटा दिए गए।

हटाई गई पंक्तियों की संख्या को अपनी अपेक्षा से मिलाकर देखें। संख्या उम्मीद से कम हो, तो अक्सर पंक्तियों के स्पेस, अक्षरों के केस या विराम चिह्नों में अंतर होता है। संख्या उम्मीद से अधिक हो, तो संभव है कि मूल डेटा में दोहराई गई पंक्तियों का अलग अर्थ रहा हो, जैसे एक जैसे विवरण वाले अलग-अलग लेन-देन।

पंक्तियों के उदाहरण

इनपुट पंक्तियां "pear", "apple" और "pear" हों, तो परिणाम में "pear" और "apple" मिलेंगे। "pear" की दूसरी आवृत्ति हटा दी जाती है, जबकि पहली बार आने वाले मानों का क्रम बना रहता है।

"London", "london" और आखिर में स्पेस वाले "London " को सीधे स्ट्रिंग के रूप में मिलाने पर तीनों अलग मान माने जाते हैं। अक्षरों का केस और दोनों सिरों का खाली स्थान पहले साफ़ करना एक अलग ऑपरेशन होगा।

अगर मान नई पंक्तियों के बजाय कॉमा से अलग किए गए हैं, तो पहले पाठ विभाजक का उपयोग करके हर मान को अलग पंक्ति में रखें। डुप्लिकेट हटाने की प्रक्रिया पंक्तियों पर काम करती है, किसी पंक्ति के भीतर मौजूद अलग-अलग शब्दों या कॉमा से अलग किए गए फ़ील्ड पर नहीं।

अक्सर पूछे जाने वाले सवाल

क्या CSV फ़ाइल से डुप्लिकेट हटाए जा सकते हैं?

आप CSV सामग्री चिपका सकते हैं, लेकिन यह प्रक्रिया पूरी पंक्ति की तुलना करती है। यह साथ वाले कॉलम का अलग डेटा बचाए रखते हुए केवल एक कॉलम से डुप्लिकेट नहीं हटाएगी। कॉलम के आधार पर मिलान करने के लिए Excel का Remove Duplicates कमांड, Google Sheets या CSV को समझने वाली स्क्रिप्ट इस्तेमाल करें।

नंबर वाली सूची के आइटम डुप्लिकेट क्यों नहीं माने जाते?

शुरुआत में मौजूद नंबर हर पंक्ति का हिस्सा होते हैं, इसलिए "1. Bristol" और "2. Bristol" अलग मान हैं। अगर तुलना केवल जगह के नाम की करनी है, तो डुप्लिकेट हटाने से पहले नंबर हटा दें।

क्या यहां गोपनीय जानकारी चिपकाना सुरक्षित है?

प्रोसेसिंग सर्वर पर होती है। आपका इनपुट HTTPS के ज़रिए सर्वर तक जाता है और स्टोर नहीं किया जाता, लेकिन प्रोसेसिंग के दौरान वह आपके डिवाइस से बाहर जाता है। अगर आपके संगठन की नीति किसी बाहरी सेवा को गोपनीय या विनियमित डेटा भेजने से रोकती है, तो ऐसा डेटा सबमिट न करें।

क्या इससे JSON या प्रोग्राम कोड साफ़ किया जा सकता है?

बिना संदर्भ समझे दोहराई गई पंक्तियां हटाने से JSON, सोर्स कोड और अन्य संरचित फ़ॉर्मैट खराब हो सकते हैं, क्योंकि उनमें टेक्स्ट जानबूझकर दोहराया गया हो सकता है। जहां संरचना और पंक्ति की स्थिति अर्थ को प्रभावित करती है, वहां पार्सर, फ़ॉर्मैटर या संबंधित प्रोग्रामिंग भाषा के लिए बना टूल इस्तेमाल करें।

आखिरी जांच

साफ़ की गई सूची को इंपोर्ट करने से पहले उसकी समीक्षा करें, खासकर तब जब डुप्लिकेट पंक्तियां अलग-अलग ऑर्डर, भुगतान या घटनाओं को दर्शा सकती हों। मूल फ़ाइल तब तक संभालकर रखें, जब तक गंतव्य सिस्टम संशोधित डेटा स्वीकार न कर ले और आप टूल द्वारा रखी तथा हटाई गई पंक्तियों की जांच न कर लें।