إزالة البيانات المكررة

في الحوسبة، إزالة البيانات المكررة هي تقنية للتخلص من النسخ المكررة من البيانات. تُستخدم هذه التقنية لتحسين استخدام التخزين ويمكن أيضًا تطبيقها على عمليات نقل بيانات الشبكة لتقليل عدد البايتات التي يجب إرسالها. في عملية إلغاء البيانات المكررة ، يتم تحديد أجزاء فريدة من البيانات أو أنماط البايت وتخزينها أثناء عملية التحليل. مع استمرار التحليل ، تتم مقارنة الأجزاء الأخرى بالنسخة المخزنة ، وكلما حدث تطابق ، يتم استبدال الجزء الزائد بمرجع صغير يشير إلى القطعة المخزنة. بالنظر إلى أن نمط البايت نفسه قد يحدث عشرات أو مئات أو حتى آلاف المرات (يعتمد تردد المطابقة على حجم القطعة)، يمكن تقليل كمية البيانات التي يجب تخزينها أو نقلها بشكل كبير. يختلف إلغاء البيانات المكررة عن خوارزميات ضغط البيانات ، مثل LZ77 و LZ78 . في حين أن خوارزميات الضغط تحدد البيانات الزائدة داخل الملفات الفردية وترميز هذه البيانات المكررة بشكل أكثر كفاءة ، فإن الهدف من إلغاء البيانات المكررة هو فحص كميات كبيرة من البيانات وتحديد الأقسام الكبيرة - مثل الملفات الكاملة أو أقسام كبيرة من الملفات - المتطابقة ، واستبدالها بنسخة مشتركة.