:ClowdFlows گردش کار آنلاین برای کاوش کلان داده‌ توزیع شده

قیمت: 48,000 تومان

دانلود رایگان مقاله

خرید ترجمه مقاله

عنوان فارسی

:ClowdFlows گردش کار آنلاین برای کاوش کلان داده‌ توزیع شده

عنوان لاتین

ClowdFlows: Online workflows for distributed big data mining

این مقاله یک پلتفرم برای محاسبات توزیع‌شده ارائه می‌کند که با استفاده از آخرین فناوری‌های نرم‌افزاری و الگو‌های محاسباتی توسعه یافته است و کاوش کلان داده را ممکن ‌سازد. این پلتفرم، به نام ClowdFlows، به عنوان یک برنامه وب مبتنی بر ابر با یک رابط کاربری گرافیکی پیاده‌سازی شده که از ساخت و ساز و اجرای گردش های کاری داده‌کاوی، از جمله خدمات وب که به عنوان اجزای گردش کار استفاده می شوند، پشتیبانی می‌کند. به‌عنوان یک برنامه وب، بستر ClowdFlows به هیچ نیازمندی نرم‌افزاری احتیاج ندارد و می‌تواند ازطریق هر مرورگر مدرنی‌ از جمله دستگاه‌های تلفن همراه مورد استفاده قرار گیرد. گردش کار ساخته شده را می توان به‌صورت خصوصی یا عمومی تعریف کرد که امکان به اشتراک‌گذاری راه‌حل های توسعه یافته، داده‌ها، نتایج در وب و در نشریات علمی نرم افزاری را ممکن می‌سازد. نرم افزار سمت سرور ClowdFlows می‌تواند به هر تعداد گره‌های محاسباتی تکثیر و توزیع شود. از منظر توسعه دهنده، این پلتفرم به آسانی گسترش می‌یابد و توسعه‌های توزیع‌ شده با بسته ها را پشتیبانی می‌کند. این مقاله روی پردازش کلان داده در دسته و حالت پردازش در زمان واقعی تمرکز دارد. تجزیه و تحلیل کلان داده از طریق چندین الگوریتم، از جمله تکنیک‌های جدید گروهی ارائه شده است که با استفاده از الگو نگاشت کاهش و یک ماژول کاوش گردش خاص برای اجرای گردش کار همزمان موازی، پیاده‌سازی شده است. حالت دسته ای و حالت پردازش در زمان واقعی با موارد کاربرد عملی نشان داده شده‌اند. تجزیه و تحلیل عملکرد، مزایای استفاده از تمام داده‌های موجود برای یادگیری در حالت توزیع شده را در مقایسه با استفاده از تنها بخش‌هایی از داده در حالت غیر توزیع شده، نشان می‌دهد. توانایی ClowdFlows در اداره مجموعه‌های کلان داده است و افزایش سرعت آن به‌صورت تقریبا کاملا خطی نشان داده شده است.

The paper presents a platform for distributed computing, developed using the latest software technologies and computing paradigms to enable big data mining. The platform, called ClowdFlows, is implemented as a cloud-based web application with a graphical user interface which supports the construction and execution of data mining workflows, including web services used as workflow components. As a web application, the ClowdFlows platform poses no software requirements and can be used from any modern browser, including mobile devices. The constructed workflows can be declared either as private or public, which enables sharing the developed solutions, data and results on the web and in scientific publications. The server-side software of ClowdFlows can be multiplied and distributed to any number of computing nodes. From a developer’s perspective the platform is easy to extend and supports distributed development with packages. The paper focuses on big data processing in the batch and real-time processing mode. Big data analytics is provided through several algorithms, including novel ensemble techniques, implemented using the map-reduce paradigm and a special stream mining module for continuous parallel workflow execution. The batch mode and real-time processing mode are demonstrated with practical use cases. Performance analysis shows the benefit of using all available data for learning in distributed mode compared to using only subsets of data in non-distributed mode. The ability of ClowdFlows to handle big data sets and its nearly perfect linear speedup is demonstrated.