یک مدل قابلیت اطمینان جدید در سیستم های ذخیره ی مبتنی بر رونوشت داده های بزرگ

قیمت: 45,000 تومان

دانلود رایگان مقاله

خرید ترجمه مقاله

عنوان فارسی

یک مدل قابلیت اطمینان جدید در سیستم های ذخیره ی مبتنی بر رونوشت داده های بزرگ

عنوان لاتین

A new reliability model in replication-based Big Data storage systems

قابلیت اطمینان یک معیار حیاتی در طراحی و توسعه ی سیستم های ذخیره سازی داده های بزرگ مبتنی بر رونوشت مانند Hadoop File System (HDFS) می باشد. در سیستمی که دارای هزاران ماشین و دستگاه ذخیره ساز می باشد، حتی احتمال وقوع خطاهای نادر هم وجود دارد. در Google File System، نرخ سالانه ی خطای دیسک 2.88 % است، این بدین معنی است که انتظار می رود در یک سال 8,760 خطای دیسک مشاهده شود. متأسفانه، با توجه به تعداد روز افزون خطاهای گره، اینکه یک دسته هنگام مقیاس بندی چند بار شروع به از دست دادن داده می کند، چندان خوب بررسی نشده است. بعلاوه، هیچ روش سیستمی وجود ندارد که بتواند جهت کمیت یابی قابلیت اطمینان مربوط به روش های جاگذاری داده های مبتنی بر رونوشت چند-طرفه، که بطور گسترده ای در سیستم های ذخیره ساز مقیاس بزرگ شرکتی جهت بهبود برابری I/O مورد استفاده قرار گیرد. در این مقاله ما یک مدل قابلیت اطمینان جدید با اضافه کردن احتمال اتلاف رونوشت برای بررسی قابلیت اطمینان سیستم حذف دسته بندی طرح های داده ها و تحلیل احتمال بازیابی موازی بالقوه ی آن ها توسعه می دهیم. نتایج شبیه سازی کلی ما در Matlab و SHARPE نشان می دهند که حذف دسته بندی نوبتی طرح داده ها بر حذف دسته بندی تصادفی طرح در معماری مقیاس بندی رونوشت چند-طرفه از نظر احتمال اتلاف داده ها و قابلیت اطمینان سیستم تقریبا 63 و 85 درصد بهتر می باشد. مطالعه ی ما بر روی قابلیت اطمینان 5 ساله و 10 ساله همراه با تنظیمات مختلف پهنای باند بازیابی نشان می دهد که طرح حذف دسته بندی نوبتنی با مصرف تقریبا 79 و 87 درصد پهنای باند بازیابی کمتر برای مجموعه ی رونوشت و هچنین 4.8 و 10.2 درصد پهنای باند بازیابی کمتر برای طرح تصادفی در هر دو مورد بر دو رویکرد خط پایه برتری دارد.

Reliability is a critical metric in the design and development of replicationbased big data storage systems such as Hadoop File System (HDFS). In the system with thousands of machines and storage devices, even in-frequent failures become likely. In Google File System, the annual disk failure rate is 2.88%,which means you were expected to see 8,760 disk failures in a year. Unfortunately, given an increasing number of node failures, how often a cluster starts losing data when being scaled out is not well investigated. Moreover, there is no systemic method that can be used to quantify the reliability for multi-way replication based data placement methods, which has been widely used in enterprise largescale storage systems to improve the I/O parallelism. In this paper, we develop a new reliability model by incorporating the probability of replica loss to investigate the system reliability of multi-way declustering data layouts and analyze their potential parallel recovery possibilities. Our comprehensive simulation results on Matlab and SHARPE show that the shifted declustering data layout outperforms the random declustering layout in a multi-way replication scale-out architecture, in terms of data loss probability and system reliability by up to 63% and 85% respectively. Our study on both 5-year and 10-year system reliability equipped with various recovery bandwidth settings shows that, the shifted declustering layout surpasses the two baseline approaches in both cases by consuming up to 79 % and 87% less recovery band-width for copyset, as well as 4.8% and 10.2% less recovery bandwidth for random layout.