پايگاه خبری، تحلیلی رویداد۲۴ · Created Date: 5/15/2018 10:09:20 AM
استفاده از استخراج قوانين وابستگی از پايگاه داده در...
description
Transcript of استفاده از استخراج قوانين وابستگی از پايگاه داده در...
نیره غالمزادهسارا مصباح
88تابستان
مقدمه تعریف سیستم های پیشنهاد دهنده: سیستم های پیشنهاد
دهنده سعی می کنند به كاربران خود با استفاده از داده های گذشته سیستم، پيشنهادهاي متناسب و نزدیک به
عاليق آن ها ارائه دهند )فيلم, كتاب, جك، مقاله و.....(.انواع سیستم های پیشنهاد دهنده
Content-based recommendationCollaborative recommendation
مثالwww.Amazon.comwww.MovieLens.comwww.contentadvisor.com
مقدمه )ادامه....(داراي كارايي محدودي تكنيك هاي ارائه شده در اين زمينه
هستنداستفاده از قوانین وابستگی در سیستمهای پیشنهاد دهنده
هدف قوانين وابستگي: تفسير حجم زيادي از داده ها واستخراج روابط مفيد بين آنها
مفید بودن اين ويژگي در سيستمهاي پيشنهاد دهنده
انواع قوانین در این سیستم هاItem associationنشان دهنده روابط میان آیتم ها :User associationنشان دهنده روابط میان کاربران :
کارهای انجام شدهبرخی از تکنیک های متداول استفاده شده
تکنیک های پیشگویی ساده مبتنی بر همبستگی(correlation-bsed method)یادگیری ماشین
کارهای انجام شده )ادامه..(مبتنی بر همبستگی مدل شبکهBayesian و Bayesian Classifierشبکه های عصبی به همراه تکنیک های کاهش ویژگیUnison-CFContent-boosted collaborative filtering الگوریتم های پیشنهاد دهنده فیلتر کردن همکاری مبتنی بر
آیتمکاربرد کاهش ابعاد در سیستم های پیشنهاد دهنده ترکیب کردن فیلترهای همکاری و مبتنی بر محتوا در یک
روزنامه بر خط
روش مبتنی بر همبستگی محاسبه امتیاز کاربر جاری(a) برای سند j :
Vi,j: رای کاربر :i ام برای ایتمjام میانگین امتیازات کاربر : iام Nتعداد کاربران :
شباهت بین هر کاربرiبا کاربر جاری
:معایب( عدم اندازه گیری اهمیت همبستگیcorrelationبین کاربران )
(support)اگر دو كاربر مشتركا مقاله هايي را ارزيابي نكنند، آنها طبق این روش
نمی توانند مشابه شوند حتي اگر آنها عاليق مشتركي داشته باشند
تعريف مسئلهاستخراج قوانین وابستگی با استفاده از الگوریتمی کارا
ارائه سیستم پیشنهاد دهندهcollaborative به کاربر براساس قوانین استخراج شده
الگوريتم ارائه شده استفاده از الگوریتمهایApriori , CBA-RG
تخمینminimum supportحین عمل استخراج قوانین دستیابی به تعداد مناسب قوانین مفید
استخراج قوانینی با وجود کاربر یا آیتم هدف در سمتراست
استخراج قوانين وابستگی شروع باminimum supportمشخص
استفاده ازبازهminRule , maxRuleبرای تعداد قوانین
تغییرminimum supportدر صورت نیاز
:استخراج قوانین به شکل >-[Target_User:like]
برآورده کردنmin support , min confidence
پارامترهای الگوريتمانتخاب مقادیر مناسب برای پارامترهای مهم
مقدار امتیاز معادل باLike یا Dislike مثال امتیازات باالی( در نظر گرفته شوند(like به عنوان 2Min_conf( و 90 برای قوانین وابستگی )%
min_Support( 20 برای آیتم های مکرر)% تعیینmin_Rule و Max_Rule )15,90(
انتخاب مقادیر پارامترهای فوق بر اساس تجربه
مزايای استخراج قوانين فقط برای کاربر و آيتم هدف
بدست آمدن قوانین مربوط به آیتم های جدید
کاهش تعداد قوانین موردنظر باعث بهبود کارایی
باعث استخراج قوانین از زیرمجموعه ای از تراکنشها کاهش زمان اجرا
پياده سازی الگوريتم پیاده سازی الگوریتم در دو نسخهofflineو online:دارای دو تابع اصلی
:AR1 شده در محدودیتهای الگوریتماستخراج بررسی قوانین کنترلmin support با بيشترين استخراج قوانینیsupportممکن پيش تعريف شدهتعداد قوانین در بازه از بررسیmin confidence و min supportقوانين
AR2استخراج قوانین وابستگی : استخراج قوانین براساس الگوریتمCBA-RG وي تراكنشها راستخراج قوانين وابستگي با چندين گذر تفاوت با الگوریتمCBA-RGدر شرط خاتمه الگوریتم
تعداد قوانین مساوی یا بزرگتر ازmaxRule
AR1 تابع
data setآماده سازی هدف ما تعیینlike or
dislike یک فیلم برای کاربر هدف
تبدیل امتیازات بهlike ,dislike
[M2:Like]AND [M5:Like]=>[ target_M:like]
“[user1 : like] AND[user2 : like] => [userT : like] conf = 80% , supp = 45%
“[user1 : like] AND [user2 : dislike] => [usercT: like] conf = 80% , supp = 45%
مکانيسم پشنهادگيري از مزاياي هر دو نوع قوانين پيشنهاد براساس بهره
movie association و user associationUser association: onlineMovie association: offline
استفاده از moive association تعداد فيلم برای کاربری با ز يك آستانهکمتر اهاي امتياز داده شده
امکان پذیر نبودن پیشنهاد این فیلمها با استفاده از user association
استفاده ازscoreمحاسبه شده برای هر قانون
بررسی زمان الگوريتم استخراج قوانینMovieAssociation به صورت
offline
کوچک نمودن مجموعه دادهtraining با توجه به کاربر هدف
متوقف نمودن تولید قوانین درmaxRule
نتيجه گيری استفاده از مجموعه داده ایMovieLens
100000 رکورد943 کاربر1682 فیلم [1,5]مقادیر امتیازات داده شده در بازه
نتيجه گيری )ادامه...(معیارهای ارزیابی الگوریتم
انجام آزمایشات برای دو مجموعه داده ای فیلم امتیاز داده 35 کاربر که به حداقل 100انتخاب تصادفی
collaborativeاند به عنوان کاربر انتخاب کل مجموعه
5استفاده از روش-fold cross-validation بر روی مجموعه فیلم هایی که کاربر هدف امتیاز دهی کرده است
نتيجه گيری )ادامه...( پیشنهاد بر اساس قوانین به دست آمده از فیلم ها و
کاربران به طور جداگانهبهتر بودن نتایج به دست آمده از کاربران استخراج قوانین وابستگی فیلم ها به صورتoffline
زمان پاسخگویی بهتر
استفاده از ترکیب آن ها
.Movie Ass و .User Assترکيب تعداد فیلم های امتیاز داده شده کمتر از مقدار آستانه
movie Association پیشنهاد دادن فیلم هایی که توسط افراد کمی امتیاز داده
شده اند تعداد فیلم های امتیاز داده شده بیشتر از مقدار آستانه
استفاده از هر دو استفاده ازscoreمحاسبه شده برای هر قانون انتخاب قانون باscore بیشتر User association Movie Association Combine
Precision 0.721 0.728 0.715
Recall 0.56 0.271 0.542
ها ترکیب آنUser Ass.، Movie Assمقایسه معیارها برای
نتيجه گيری )ادامه...( روش زیر 3مقایسه نتایج به دست آمده با
Correlation basedشبکه های عصبی همرا ه با بهره اطالعاتشبکه های عصبی با تجزیه مقدار تکین
نتایج به دست آمدهPresicion = 0.75411Recall = 0.2257
Inoformation Gain SVD Correlation
Precision 78.3% 83.9% 72.6%
correlationو Info.Gain، SVDبرای سه روش Recall و precisionمقایسه
کارهای آيندهتست کردن الگوریتم بر روی مجموعه داده ای دیگر
Jester یا انواع دیگری از مجموعه داده ای MovieLens
تعریف کردن معیار دیگری به عنوان ارزش برای قوانین
استفاده از الگوریتم های استخراج قوانینی وابستگی دیگردر بخش استخراج قوانین وابستگی
مراجع [1] Daniel Billsus and Michael J. Pazzani. Learning collaborative information filters. In Proc. of the Fifteenth
International Conference on Machine Learning, Madison, Wisconsin, 1998. Morgan Kaufmann Publishers.
[2] J. Breese, D. Heckerman, and C. Kadie. Empirical analysis ofp redictive algorithms for collaborative filtering. In Proceedings of the Fourteenth Conference on Uncertainty in Artificial Intelligence, Madison, WI, July 1998
[3] Daniel Billsus and Michael J. Pazzani. Learning collaborative information filters. In Proc. of the Fifteenth International Conference on Machine Learning, Madison, Wisconsin, 1998. Morgan Kaufmann Publishers.
[4] Xiaobin Fu, Jay Budzik, and Kristian J. Hammond. Mining navigation history for recommendation. In Proceedings of the 2000 international conference on Intelligent user interfaces, pages 106–112, New Orleans, LA, January 2000. ACM.
[5] R. Cooley, B. Mobasher, and J. Srivastava. Grouping web page references into transactions for mining world wide web browsing patterns. Technical Report TR 97-021, Department ofComp uter Science and Engineering, University of Minnesota, Minneapolis, MN 55455, USA, June 1997.
[6] R. Cooley, J. Srivastava, and B. Mobasher. Web mining: Information and pattern discovery on the world wide web. In Proceedings of the 9th IEEE International Conference on Tools with Artificial Intelligence (ICTAI’97), November 1997.
[7] Bing Liu, Wynne Hsu, and Yiming Ma. Integrating classification and association rule mining. In Proceedings of the Fourth International Conference on Knowledge Discovery and Data Mining, pages 80–86, New York, August 1998.