تلاش برای مدل سازی و بهینه سازی انتخاب ویژگی ها در اینترنت اشیاء اجتماعی مبتنی بر کلان داده ها

قیمت: 45,000 تومان

دانلود رایگان مقاله

خرید ترجمه مقاله

عنوان فارسی

تلاش برای مدل سازی و بهینه سازی انتخاب ویژگی ها در اینترنت اشیاء اجتماعی مبتنی بر کلان داده ها

عنوان لاتین

Towards Modeling and Optimization of Features Selection in Big Data based Social Internet of Things

شکاف رو به رشد بین کاربران و مسائل تحلیلی کلان داده ها نیازمند توسعه ابزارهای نوآورانه ای است که به چالش های پیش رو در رابطه با حجم، تنوع و سرعت کلان داده ها پاسخ دهد. بنابراین، آنالیز و انتخاب ویژگی ها از روی این حجم گسترده از داده ها، از نظر محاسباتی ناکارآمد می باشد. علاوه بر این، پیشرفت های حاصل در زمینه کاربرد کلان داده و علم داده ها، چالش های بیشتری را به ارمغان آورده است، لذا انتخاب ویژگی های مناسب و راه حل محاسباتی با کارایی بالا (HPC) تبدیل به یک مسئله کلیدی شده است و در سال های اخیر مورد توجه فراوانی قرار گرفته است. بنابراین، با توجه به نیازهای بالا، سیستمی مورد نیاز است که بتواند به طور موثر ویژگی ها را انتخاب کرده و جریانی از کلان داده ها را در شرایط مورد نیاز، تجزیه و تحلیل کند. از این رو، این مقاله یک معماری از سیستم را ارائه می دهد که ویژگی ها را با استفاده از کلونی زنبور عسل مصنوعی (ABC) انتخاب می کند. علاوه بر این، از یک فیلتر کالمن در اکوسیستم هادوپ (Hadoop) برای حذف نویز استفاده شده است. علاوه بر این، از مپ ردیوس (MapReduce) سنتی همراه با ABC استفاده شد که باعث افزایش کارایی پردازش می شود. علاوه بر این، یک معماری چهار لایه کامل نیز ارائه شده است که داده ها را به طور موثر جمع آوری می کند، داده های غیر ضروری را حذف می کند و داده ها را با الگوریتم ABC مبتنی بر هادوپ تحلیل می کند. برای بررسی کارایی این الگوریتم ها در معماری سیستم پیشنهادی، ما سیستم خود را با الگوریتم ABC با استفاده از Hadoop و MapReduce اجرا کردیم. از الگوریتم ABC برای انتخاب ویژگی ها استفاده شد، در حالی که MapReduce با یک الگوریتم موازی پشتیبانی می شود که حجم بزرگی از مجموعه داده ها را به طور موثر پردازش می کند. این سیستم با استفاده از ابزار MapReduce واقع در بالای گره های موازی Hadoop و تقریبا بصورت همزمان اجرا می شود. علاوه بر این، سیستم پیشنهادی با روش اسوارم (Swarm) مقایسه شده است و با استفاده از 10 مجموعه داده مختلف از نظر کارایی، دقت و توان عملیاتی ارزیابی شده است. نتایج حاصل نشان می دهد که سیستم پیشنهادی در انتخاب ویژگی ها مقیاس پذیر و کارآمدتر است.

The growing gap between users and the Big Data analytics requires innovative tools that address the challenges faced by big data volume, variety, and velocity. Therefore, it becomes computationally inefficient to analyze and select features from such massive volume of data. Moreover, advancements in the field of Big Data application and data science poses additional challenges, where a selection of appropriate features and High-Performance Computing (HPC) solution has become a key issue and has attracted attention in recent years. Therefore, keeping in view the needs above, there is a requirement for a system that can efficiently select features and analyze a stream of Big Data within their requirements. Hence, this paper presents a system architecture that selects features by using Artificial Bee Colony (ABC). Moreover, a Kalman filter is used in Hadoop ecosystem that is used for removal of noise. Furthermore, traditional MapReduce with ABC is used that enhance the processing efficiency. Moreover, a complete four-tier architecture is also proposed that efficiently aggregate the data, eliminate unnecessary data, and analyze the data by the proposed Hadoop-based ABC algorithm. To check the efficiency of the proposed algorithms exploited in the proposed system architecture, we have implemented our proposed system using Hadoop and MapReduce with the ABC algorithm. ABC algorithm is used to select features, whereas, MapReduce is supported by a parallel algorithm that efficiently processes a huge volume of data sets. The system is implemented using MapReduce tool at the top of the Hadoop parallel nodes with near real-time.