معماری ذخیره سازی ترکیبی و پردازش کارامد کاهش نشانه کاهش نشانه برای داده های ساختار نیافته

قیمت: 45,000 تومان

دانلود رایگان مقاله

خرید ترجمه مقاله

عنوان فارسی

معماری ذخیره سازی ترکیبی و پردازش کارامد کاهش نشانه کاهش نشانه برای داده های ساختار نیافته

عنوان لاتین

Hybrid storage architecture and efficient MapReduce processing for unstructured data

با ورود به عصر سیل داده، نحوه ی مدیریت کارآمد این انبوه داده، چالش بزرگی به ویژه برای رشد تساعدی داده های ساختار نیافته، که بیشتر از داده های ساختار یافته یا نیمه ساختار یافته هستند، می باشد. هرچند داده های ساختار نیافته به دلیل تنوع خود، پیچیده تر هستند. بدین صورت گفته می شود که، انواع متفاوت از داده های ساختارنیافته دارای اندازه، شکل و کاربرد متفاوتی هستند، که نیاز به پردازش و ذخیره سازی متفاوتی برای داشتن کارایی بالاتر می باشند. در این مقاله، یک معماری ذخیره سازی ترکیبی را به منظور ذخیره سازی و فراگیر داده های ساختارنیافته، پیشنهاد داده ایم. این معماری ترکیبی، انواع مختلف داده های ذخیره شده در چارچوبی منحصر را یکپارچه می کند، جایی که هر نوع از داده ساختارنیافته می تواند سیاست جایگزینی مناسب خود را یافته و به کاربران منتقل شود. به علاوه، استراتژی های تقسیم بندی را براساس چارچوب یکپارچه، که برای پردازش دسته ای مبتنی بر کاهش نشانه برای این داده های ساختارنیافته را ارائه می دهیم. آزمایش ها نشان می دهد که ساخت یک سیستم هوشمند و کارآمد از طریق معماری ترکیبی و استراتژی های تقسیم بندی، امکان پذیر است.

As we are now entering the era of data deluge, how to efficiently manage these massive data is becoming a great challenge, especially for the exponentially growing unstructured data, which is far more than structured and semi-structured data. However, unstructured data is more complex for its variety. That is to say, different types of unstructured data have different file size, type and usage, which need different storage and processing for high efficiency. In this paper, we propose a hybrid storage architecture to store the pervasive unstructured data. This hybrid architecture integrates various kinds of data stores within a unified framework, where each type of unstructured data can find its suitable placement policy and it is transparent to users. In addition, we present several partitioning strategies based on the unified framework, which are beneficial to the MapReducebased batch processing for these unstructured data. The experiments demonstrate that it is possible to build an efficient and smart system through the hybrid architecture and the partitioning strategies.