مزيل الأسطر المكررة

مزيل الأسطر المكررة أداة مجانية تحذف الأسطر المتكررة من النص الملصق، وتعرض عدد الأسطر المتبقية.

كيف أحذف الأسطر المكررة؟

ألصق النص بحيث يكون كل عنصر في سطر مستقل، ثم شغّل الأداة وانسخ النتيجة بعد تنظيفها.

1. رتّب المحتوى الأصلي بحيث يكون كل عنوان بريد إلكتروني أو URL أو رمز منتج أو قيمة أخرى في سطر منفصل.
2. أرسل النص لإزالة الأسطر المكررة.
3. تحقق من الأعداد المعروضة وراجع الأسطر المنظفة قبل استخدامها في مكان آخر.

تستخدم الأداة العملية array_unique في PHP. إذا تكرر السطر نفسه أكثر من مرة، فسيُحتفظ بأول ظهور له وتُحذف المطابقات اللاحقة.

متى توفر إزالة الأسطر المكررة الوقت؟

توفر هذه العملية الوقت كلما تراكمت في قائمة ما إدخالات متكررة بسبب التصدير أو النسخ أو دمج عدة مصادر.

• ملفات Excel وGoogle Sheets المصدّرة غالبا ما تحتوي على عناوين بريد إلكتروني أو أرقام مرجعية أو رموز مخزون مكررة بعد دمج أوراق العمل.
• ملفات الاستيراد إلى Mailchimp قد تحتاج إلى حذف صفوف البريد الإلكتروني المكررة قبل رفعها، لكن إزالة الأسطر لا تتحقق من صحة العناوين ولا توحّد سجلات جهات الاتصال المنفصلة.
• العمل على منتجات Shopify قد ينتج عنه تكرار رموز SKU عند نسخ القيم من أكثر من تقرير.
• ملفات Google Search Console المصدّرة يمكن دمجها في قائمة من عناوين URL، كل عنوان في سطر، ثم تنظيفها قبل إجراء مزيد من التحليل.
• ملفات إعداد GitHub، بما فيها قوائم السماح وقوائم التجاهل البسيطة، قد تتضمن إدخالات متطابقة أضافها مساهمون مختلفون.

من المفيد الاحتفاظ بنسخة لم تُعدّل من المحتوى الأصلي، حتى تتمكن من استعادة أي أسطر حُذفت باعتبارها مكررة. إذا بقي سطر يبدو مكررا، فافحصه في محرر نص عادي يستطيع إظهار المسافات اللاحقة وغيرها من المحارف غير المرئية.

كيف تتعامل الأداة مع المسافات والأحرف الكبيرة وعلامات الترقيم؟

تقارن الأداة القيمة الكاملة لكل سطر، لذلك قد يمنع أي اختلاف داخل السطر مطابقة إدخالين.

على سبيل المثال، تُعد "Manchester" و"manchester" و"Manchester " قيما نصية منفصلة بسبب اختلاف حالة الأحرف أو وجود مسافة لاحقة. تدخل الأرقام وعلامات الترقيم أيضا في المقارنة، ولذلك لا تتطابق "INV-104" مع "INV104". ولا تستنتج العملية أن قيمتين بتنسيقين مختلفين تشيران إلى العميل أو عنوان URL أو المنتج نفسه.

يمكن تخزين النصوص ذات الأحرف المشكّلة والنصوص المكتوبة بأنظمة غير لاتينية كقيم سطرية، لكن نصوص Unicode المتطابقة بصريا قد تتكون من تسلسلات محارف مختلفة في بنيتها. وقد تبقى هذه الأسطر منفصلة ما لم يُطبّع النص مسبقا. وإذا وصلت الأسطر الفارغة إلى array_unique كقيم فارغة متكررة، فلن يُحتفظ إلا بأول قيمة فارغة.

بالنسبة إلى الملفات الكبيرة جدا، قد يكون استخدام أمر في جدول بيانات أو برنامج نصي أكثر عملية لإزالة التكرار من مجموعة الأسطر كاملة بدلا من لصقها في أداة تعمل عبر المتصفح.

كيف أقرأ النتيجة؟

تعرض حقول النتيجة العدد الأصلي للأسطر، وعدد الأسطر المتبقية، وعدد الأسطر المحذوفة.

• الأسطر هو عدد الأسطر في القائمة المُرسلة.
• الأسطر الجديدة هو عدد الأسطر بعد حذف القيم المكررة.
• الأسطر المحذوفة يوضح عدد القيم المتكررة التي جرى استبعادها.

قارن عدد الأسطر المحذوفة بما كنت تتوقعه. غالبا ما يعني العدد المنخفض على نحو غير متوقع أن الأسطر تختلف في المسافات أو حالة الأحرف أو علامات الترقيم. أما العدد المرتفع على نحو غير متوقع فقد يشير إلى أن الصفوف المتكررة كانت تحمل معنى في البيانات الأصلية، مثل معاملات منفصلة لها أوصاف متطابقة.

أمثلة عملية على الأسطر

إذا كانت أسطر الإدخال هي "pear" و"apple" و"pear"، فستكون الأسطر الناتجة "pear" و"apple". يُحذف الظهور الثاني للقيمة "pear"، مع الحفاظ على ترتيب الظهور الأول للقيم.

بالنسبة إلى "London" و"london" و"London " التي تتضمن مسافة لاحقة، تُعد القيم الثلاث مختلفة عند إجراء مقارنة مباشرة بين القيم النصية. أما توحيد حالة الأحرف وإزالة المسافات المحيطة أولا، فهما عملية منفصلة.

إذا كانت القيم مفصولة بفواصل بدلا من فواصل الأسطر، فاستخدم فاصل النص أولا لوضع كل قيمة في سطر مستقل. تعمل إزالة التكرار على الأسطر، لا على الكلمات المنفردة أو الحقول المفصولة بفواصل داخل السطر.

الأسئلة الشائعة

هل يمكنني حذف القيم المكررة من ملف CSV؟

يمكنك لصق محتوى CSV، لكن العملية تقارن الصفوف كاملة باعتبارها أسطرا. ولن تزيل التكرار من عمود واحد مع الحفاظ على البيانات المختلفة في الأعمدة المجاورة. للمطابقة بحسب الأعمدة، استخدم أمر Remove Duplicates في Excel أو Google Sheets أو برنامجا نصيا يدعم CSV.

لماذا لا تعتبر الأداة عناصر القائمة المرقمة مكررة؟

الأرقام الموجودة في بداية السطر جزء منه، ولذلك تُعد "1. Bristol" و"2. Bristol" قيمتين مختلفتين. احذف الترقيم قبل إزالة التكرار إذا كان اسم المكان هو القيمة المطلوب مقارنتها.

هل لصق المعلومات السرية هنا آمن؟

تُنفذ المعالجة على الخادم. تنتقل مدخلاتك إلى الخادم عبر HTTPS ولا تُخزّن، لكنها تغادر جهازك أثناء المعالجة. لا ترسل بيانات سرية أو خاضعة للوائح إذا كانت سياسة مؤسستك تمنع إرسالها إلى خدمة خارجية.

هل يمكنني استخدامها لتنظيف JSON أو الشفرة البرمجية؟

قد يؤدي حذف الأسطر المتكررة دون تمييز إلى إفساد JSON والشفرة المصدرية وغيرها من التنسيقات المنظمة التي قد يكون تكرار النص فيها مقصودا. استخدم محللا أو أداة تنسيق أو أداة مخصصة للغة عندما تؤثر البنية ومواضع الأسطر في المعنى.

الفحوص النهائية

راجع القائمة المنظفة قبل استيرادها، خصوصا عندما قد تمثل الأسطر المكررة طلبات أو مدفوعات أو أحداثا منفصلة. احتفظ بالملف الأصلي إلى أن يقبل النظام المستهدف البيانات المعدلة، وتتأكد من الأسطر التي أبقتها الأداة وتلك التي حذفتها.