بارگذاری لحظه ای برای پایگاه داده های حافظه اصلی

قیمت: 41,000 تومان

دانلود رایگان مقاله

خرید ترجمه مقاله

عنوان فارسی

بارگذاری لحظه ای برای پایگاه داده های حافظه اصلی

عنوان لاتین

Instant Loading for Main Memory Databases

برنامه های کاربردی تحلیل داده های بزرگ و eScience (علوم الکترونیکی) با چالش های ارزیابی کارآمد درخواست های پیچیده روی حجم های زیادی از داده های متنی ساخت یافته ی آرشیو شده در محل های ذخیره شبکه، مواجه هستند. برای تحلیل چنین داده هایی در سیستم های پایگاه داده مبتنی بر دیسک سنتی، به بارگذاری به صورت عمده نیاز است، یک عملیات که کارایی اش به شدت به سرعت سیم منبعِ داده و سرعت سینک داده، یعنی دیسک، بستگی دارد. در گذشته با کند شدن سرعت انطباق دهنده های شبکه و دیسک ها، بارگذاری به یک محدود کننده عملیات مهم تبدیل شده بود. تأخیری که آن به وجود می آورد، اکنون، به علت اینکه فرمت های داده، به دلیل پرتابل بودن (قابل حمل بودن) برای ذخیره سازی ترجیح داده شده اند، همه جانبه شده است. اما بازی تغییر کرده است: ظرفیت های حافظه اصلی همیشه در حال افزایش، توسعه سیستم های پایگاه داده درون حافظه ای را ایجاد کرده و زیر ساخت های شبکه بسیار سریع، در شرف اقتصادی شدن هستند. از آن جایی که محدودیت های سخت افزاری برای بارگذاری سریع، از بین رفته اند، رویکردهای فعلی برای پایگاه داده های حافظه اصلی در اشباع سرعت های سیم در دسترس فعلی که به اندازه ده ها گیگابایت بر ثانیه هستند، شکست خورده اند. با بارگذاری لحظه ای، ما یک رویکرد بارگذاری برای CSV جدید که امکان بارگذاری به صورت عمده (یکجا) و مقیاس پذیر در سرعت سیم را فراهم می آورد، را ارائه کرده ایم. این، با بهینه کردن تمام فازهای بارگذاری برای CPU های چند هسته ای سوپر اسکالر ، به دست آورده می شود. ظرفیت های حافظه اصلیِ بزرگ و در نتیجه بارگذاری لحظه ای، یک مدل پردازش نمایش داده بسیار کارآمد، شامل چرخه های بارگذاری لحظه ای کار- تخلیه را در سراسر آرشیوهای داده روی یک گروه واحد، تسهیل می کنند. یکبار که داده، بارگذاری شد، به روز رسانی ها و جست و جوها به صورت کارآمد با انعطاف پذیری، امنیت، و کارایی بالای پایگاه داده های حافظه اصلی رابطه ای، پردازش می شوند.

eScience and big data analytics applications are facing the challenge of eciently evaluating complex queries over vast amounts of structured text data archived in network storage solutions. To analyze such data in traditional disk-based database systems, it needs to be bulk loaded, an operation whose performance largely depends on the wire speed of the data source and the speed of the data sink, i.e., the disk. As the speed of network adapters and disks has stagnated in the past, loading has become a major bottleneck. The delays it is causing are now ubiquitous as text formats are a preferred storage format for reasons of portability. But the game has changed: Ever increasing main memory capacities have fostered the development of in-memory database systems and very fast network infrastructures are on the verge of becoming economical. While hardware limitations for fast loading have disappeared, current approaches for main memory databases fail to saturate the now available wire speeds of tens of Gbit/s. With Instant Loading, we contribute a novel CSV loading approach that allows scalable bulk loading at wire speed. This is achieved by optimizing all phases of loading for modern super-scalar multi-core CPUs. Large main memory capacities and Instant Loading thereby facilitate a very ecient data staging processing model consisting of instantaneous load-work-unload cycles across data archives on a single node. Once data is loaded, updates and queries are eciently processed with the exibility, security, and high performance of relational main memory databases.