داده کاوی کاربردی با

R

مولف

آموزش کاربردی میکروتیکMTCNA

داده کاوی کاربردی با

Rمولفان:

محمد مرادیمجید جوادی

سهیال مهرموالیی

»سپس، به کاتبان و نویسندگانت بنگر و بهترین آنها را بر کارهای خود بگمار...

کاتبان و نویسندگانی برگزین که قدر خود را بشناسند، چون کسی که به قدر خود شناخت ندارد، دیگران

»گرفته شده از نامه ی 53 نهج البالغه به مالک اشتر«را هم نمی شناسد.«

اگرچه نوشتن و پرداختن زکات علم از توصیه های اکید بزرگان و گواه بر کرامت اهل دانش است؛ اما امروزه

پرداختن به انگیزه ها و اهداف نوشتن بیش تر جلوه می کند. بی شک این که چه کسی می نویسد مهم نیست؛ اما

این که چرا و به چه پشتوانه ای می نویسد، درخور تأمل است.

بی توجه و نوآوری هرگونه از خالی که »زرد« اصطالح به کتاب های روزافزون چاپ که معتقدیم ما

به استانداردهای چاپ کتاب و نیازهای مخاطبان است، حاصل تفکر بازاری مستولی بر جامعه ی نشر است.

باال و طویل کردن با هدف فروش نو قرار دادن مضمون های پر زرق و برق، دستاویز بی پرده آن که عنوان

سیاهه ی سابقه ی علمی، نمی تواند دلیل محکمی برای چاپ و نشر کتابی باشد که خواننده ی مشتاق با صرف

هزینه های نه چندان کم آن را تهیه می کند؛ به امید آن که چیزی از آن بیاموزد.

باید پذیرفت که انگیزه ی نوشتن کم از محتوای نوشته نیست و بین این دو رابطه ای مستقیم برقرار است.

اگر انگیزه ی نوشتن، تولید دانش باشد، بی شک نویسنده از قلم بی محتوا وکم عمق پرهیز می کند و اگر دغدغه ی

دانش و فرهنگ زخم خورده در میان باشد، ناشر تنها به عنوان پرطمطراق بسنده نمی کند.

و چقدر امروزه، فرهنگ و دانش این مرز و بوم که گرفتار آفت بی انگیزگی و زخم هوس است، نیازمند

ناشران و نویسندگانی است که نیت شان کمک به رشد دانش و ارتقای فرهنگ جامعه است و به راستی که

التیامی بر این درد نیست؛ مگر نویسندگانی که قدر خود و دیگران را می دانند و خوب می فهمند که کتاب، ابزار

سودجویی های مغرضانه نیست و می کوشند تا خود را از هرگونه عطش نام و رسم و ثروت تهی کنند.

ما در انتشارات دانشگاهی کیان خود را بری از عیب و خطا نمی دانیم؛ اما همواره بیش از پیش می کوشیم

تا در راستای تولید علم و نشر کتاب های پرمحتوا، دست نویسندگانی که انگیزه ی پاک دارند را بفشاریم و در

کنارشان باشیم و از خداوند متعال می خواهیم که در این مسیر صعب و پرخطر در سایه ی لطف و عنایت خود از

آن چه به عهده ی ما نهاده شده، سربلند و پیروز برآییم.

انتشارات دانشگاهی کیان

سخن ناشر

در حالی که بیش از دو دهه از مطرح شدن اصول و مفاهیم داده کاوی می گذرد، به جرات در واقع، در آن هستیم. کاربردهای اوج و دوران شکوفایی در اکنون که گفت می توان مختلف حوزه های در داده ها از زیادی بسیار حجم با روبه رویی در و اخیر سال های کاری، استفاده از داده کاوی به عنوان یکی از الزامات فرایندهای علمی، پژوهشی و تجاری مطرح شده است. بر این اساس، به ندرت می توان فرایندها و پروژه های مختلف پژوهشی

و تجاری را یافت که از مزیت های پرشمار داده کاوی بهره ای نجسته باشند.در پی این اقبال عمومی به استفاده از روش های داده کاوی، یکی از مسایل و چالش های و الگوریتم ها پیاده سازی رایانه، چگونگی علوم کارشناسان و فنی دیدگاه از البته مهم،

روش های داده کاوی و اعمال آن ها بر مجموعه های داده ای بوده و می باشد.اگرچه بسیاری از زبان های برنامه نویسی و سیستم های بانک های اطالعاتی، امکانات و تسهیالتی را برای انجام فرایندهای داده کاوی فراهم می نمایند، اما به کارگیری ابزارهای از گام های مختلف فرایند داده کاوی پشتیبانی کند، اختصاصی که به صورت قابل قبولی

یکی از خواسته های منطقی جامعه کاربری می باشد. بر همین اساس، ابزارها و زبان های برنامه نویسی متعددی معرفی شده اند، ولی آنچه R در طی سال های اخیر توجهات را به صورت گسترده ای به خود جلب کرده است، زبان قابلیت های متمایز می سازد، رقبایش از سایر را برنامه نویسی زبان این آنچه می باشد. تعبیه شده در آن به عنوان زبانی برای انجام محاسبات و تحلیل های آماری است. از این رو، می توان این زبان برنامه نویسی را یک ابزار ایده آل برای انجام فرایندهای تحلیل داده و به صورت مشخص داده کاوی دانست. شاهد این ادعا نیز آمارهای منتشر شده از سوی

منابع معتبر است که میزان اقبال باالی متخصصان به این زبان را تایید می کند.با توجه به ویژگی ها و اهمیت این زبان، در این کتاب بر آن شدیم که مروری کلی بر چگونگی انجام فرایندهای تعامل با داده با استفاده از R داشته باشیم و دریچه ای نو بر روی کارشناسان و پژوهشگران عرصه تحلیل داده بگشاییم. در واقع هدف اصلی کتاب حاضر این است که قابلیت هایی بیشتر و انعطاف پذیرتر از ابزارها و بسته های نرم افزاری مربوط به داده کاوی که استفاده از آن ها در میان دانشجویان و پژوهشگران رایج است

مقدمه مولفان

را به مخاطبان ارایه کند و این مهم از طریق یادگیری زبان R و افزونه های مربوط به آن محقق می شود.

البته الزم به ذکر است که بررسی تمامی جوانب و نکات مربوط به استفاده از این زبان برای داده کاوی، احتیاج به چندین جلد کتاب دارد؛ از این رو در این کتاب تالش بر امکان متنوع و در عین حال مهم، به مباحث پرداختن بتوانیم ضمن بوده است که این

فراگیری ساده و به دور از پیچیدگی را نیز فراهم آوریم.R و اگرچه پیش نیاز بهره برداری کامل از این کتاب، آشنایی اولیه با مفاهیم زبان نیز اصول داده کاوی می باشد، اما به منظور تسهیل فرایند آموزش، مقدمه ای بر مفاهیم

ذکر شده در دو فصل ابتدایی ارایه شده است.در که کیان دانشگاهی نشر دست اندرکاران و مدیریت از تشکر ضمن انتها در گرامی از خوانندگان داشتند، مولفان با را همکاری نهایت کتاب این تکمیل مراحل طی درخواست می کنیم که نظرات، پیشنهادات و انتقادات خود درباره کتاب حاضر را از طریق

پست الکترونیکی RDataMining.96@gmail.com با ما در میان بگذارند.

فهرست مطالب

R فصل اول: مقدمه ای بر زبان15 ............................................................................................................................R 1-1. معرفي1-2. نصب و راه اندازي............................................................................................................. 1627 .......................................................................................................................... R 1-3. کنسول1-4. متغیرها............................................................................................................................... 2828 .................................................................................................................................. 1-5. توابع 29 ................................................................................................................................... 1-6. اشیا 1-7. بردارها .............................................................................................................................. 3032 ................................................................................................................... 1-8. برداری سازي 1-9. فاکتورها ............................................................................................................................ 341-10. ایجاد دنباله ها ................................................................................................................. 3739 ............................................................................................................... Sub-Setting .11-141 ..................................................................................................... 1-12. ماتریس ها و آرایه ها 1- 13. لیست ها )فهرست ها(...................................................................................................... 4345 .............................................................................................................. 1-14. قاب هاي داده اي 49 .............................................................................................................. 1- 15. خواندن داده ها

فصل دوم: مفاهیم اولیه ی داده کاوی53 ..................................................................................... 2-1. انگیزه های استفاده از داده کاوی54 ...................................................................................................... 2-2. مقدمه ای بر داده کاوی60 ..................................................................................... 2-3. داده کاوی از چند دیدگاه مختلف66 .................................................................................................. 2-4. محدودیت های داده کاوی

فصل سوم: شروع کار با Rattle و داده ها 69 ...................................................................................................................... Rattle 3-1.نصب3-2. کار با داده ها...................................................................................................................... 7783 ...................................................................................... R 3-3. تعامل با داده ها با استفاده از

فهرست مطالب

فصل چهارم: بارگذاری داده ها90 ................................................................................................................... CSV 4-1 داده های95 ............................................................................................................... ARFF 4-2. داده ها ی97 ................................................................................................ODBC 4-3. داده ها یی با منبع4-4. مجموعه های داده ا ی R، منابع داده ا ی دیگر................................................................... 99102 ............................................................................................................................ RData .5-4103 ........................................................................................................................... 4-6. کتابخانه4-7. گزینه های مشترک........................................................................................................... 104

فصل پنجم: پویش داده ها110 ......................................................................................................... 5-1. خالصه سازی داده118 .............................................................................................. 5-2. بازنمایي بصري توزیع ها5-3. تحلیل همبستگی.............................................................................................................. 138

فصل ششم: گرافیک های تعاملی146 ............................................................................................................... Latticist 6-1. بسته148 .................................................................................................................. GGobi 6-2. بسته

فصل هفتم: تبدیل و انتقال داده ها7-1. مسایل مربوط به داده ها................................................................................................. 158161 ....................................................................................................... 7-2. تبدیل )انتقال( داده ها162 ................................................................................................ 7-3. مقیاس دهي مجدد داده ها168 ................................................................................................................... Imputation .4-7171 ..................................................................................................................... Recoding .5-77-6. پاک سازي......................................................................................................................... 174

فصل هشتم: خوشه بندی داده ها8-1. بازنمایي دانش ................................................................................................................ 176

فهرست مطالب

8-2. جست وجوي اکتشافي ................................................................................................... 1778-3. معیارها ........................................................................................................................... 178181 ................................................................................................................................ 8-4. مثال 187 .................................................................................................................... 8-5. نکات پایاني

فصل نهم: کاوش قواعد انجمنی9-1. بازنمایي دانش ............................................................................................................... 1909-2. جست وجوي اکتشافي ................................................................................................... 1909-3. معیارها ........................................................................................................................... 192193 ................................................................................................................................ 9-4. مثال 197 ............................................................................................ R 9-5. ایجاد مدل با استفاده از

فصل دهم: طبقه بندی داده ها با ماشین بردار پشتیبان203 ............................................................................................................. 10-1. بازنمایی دانش206 ......................................................................................................................... 10-2. الگوریتم209 ............................................................................................................................... 10-3. مثال211 ......................................................................................... R 10-4. مدل سازی با استفاده از10-5. پارامترهای تنظیم......................................................................................................... 212

فصل یازدهم: استقرار215 .............................................................................. R 11-1. استقرار در زبان برنامه نویسی218 ........................................................................................................ PMML 11-2. تبدیل به

فصل دوازدهم: تحلیل و کاوش شبکه های اجتماعی12-1. فرایند کلي کاوش شبکه هاي اجتماعي ...................................................................... 222226 ................................................................ 12-2. کاوش نظرات و بررسي الگوها در توییتر 234 ................................................................................................................ 12-3. تحلیل نظرات

فهرست مطالب

فصل سیزدهم: تحلیل و پیشگویی شاخص های قیمت منزل مسکونی260 ............................................................................................ HPI 13-1. واردکردن داده هاي261 ................................................................................................... HPI 13-2. پویش داده های271 ..............................................................HPI 13-3. مولفه های فصلی و روندي مربوط به273 ..................................................................................HPI )13-4. پیش بینی )وضعیت آینده275 ................................................................................. 13-5. قیمت تخمین زده شده ی یک ملک

فصل چهاردهم: پیش بینی پاسخ مشتری و بهینه سازی سود278 ...........................................................................KDD Cup 1998 14-1. داده های رقابت14-2. پویش داده ها................................................................................................................. 28714-3. ارزیابی مدل.................................................................................................................. 299303 .................................................................................................. 14-4. انتخاب بهترین درخت305 .................................................................................................. 14-5. نمره دهي )امتیازدهي(

فصل پانزدهم: مدل سازی پیشگویانه داده های بزرگ با حافظه محدود310 ............................................................................................................................. 15-1. مقدمه310 ........................................................................................................ 15-2. شیوه انجام فرایند311 .......................................................................................................... 15-3. متغیرها و داده ها312 .............................................................................................................. 15-4. جنگل تصادفی314 ................................................................................................................. 15-5. مساله حافظه315 ................................................................... 15-6. یادگیری مدل ها بر روی داده های نمونه317 ................................................................................. 15-7. ایجاد مدل با متغیر های انتخابی15-8. نمره دهی........................................................................................................................ 324331 ............................................................................................. 15-9. چاپ قواعد به دست آمده

343 .............................................................................................RStudio پیوست 1: آشنایی با353 .............................................................. MS SQL Server به محیط R پیوست 2: اتصال367 ......................................................................................................................................... منابع

R مقدمه ای بر زبان

فصل 1

انجام منظور به برنامه نویسي زبان هاي معرفي شاهد که سال هاست اطالعات فناوري دنیاي فعالیت ها و اهداف مختلف مي باشد. شاید بر شمردن تمامي این زبان ها کاري بسیار دشوار به نظر برسد، با این حال از آنجایي که هر یک از آنها براي منظور مشخصي ایجاد شده اند، انتخاب گزینه اي

مناسب براي هدفي معین از دشواري کمتري برخوردار است. در کنار بسیاري از زبان هاي برنامه نویسي چند و همه منظوره؛ یکي از جریان هاي اصلي در است. بوده منظوره خاص زبان هاي تولید براي فعالیت برنامه نویسي، زبان هاي توسعه حوزه انجام یک کار مشخص مي توان در چنین نیز بسیار متنوع هستند و در اگرچه، چنین زبان هایي

زبان هایی به گزینه هاي متعددي برخورد و از ویژگي هاي آنها استفاده کرد. یکي از زبان هاي خاص منظوره در حوزه تحلیل آماري داده ها که در طی چند سال گذشته بسیار مورد توجه قرار گرفته است، زبان R مي باشد. شاهدي بر ادعاي اهمیت این زبان نیز آمار رسمي ارایه شده به وسیله IEEE در رابطه با وضعیت زبان هاي برنامه نویسي محبوب و پر استفاده

14

Rبا

ی رد

رب کا

ویه کا

داد

در سال 2015 م است. جایگاه R در این آمار نمایانگر کارایي و اهمیت آن است که سبب شده است تعداد درخور توجهي از توسعه دهندگان در سراسر دنیا به سمت آن متمایل شوند )تصویر 1-1(.

تصویر 1-1. زبان های برنامه نویسی محبوب در سال 2015 م1

R به منظور انجام فرایندهاي تحلیلي و بازنمایي عالوه بر ایده اصلي و اولیه تعبیه شده در بصري داده ها؛ قابلیت هاي این زبان در انجام فرایند داده کاوي سبب شده است که به صورت گسترده به عنوان یکي از زبان ها )و ابزارهاي( داده کاوي مورد استفاده قرار بگیرد. در واقع این مساله به این صورت توجیه پذیر است که داده کاوي به عنوان علم بررسي حجم زیادي از داده ها به منظور استخراج الگوهاي پنهان آنها نیز به نوبه ی خود یک فرایند تحلیلي بر روي داده ها شناخته مي شود.

از این رو، بسیار منطقي است که از R به منظور کاوش داده ها به روش هاي مختلف استفاده شود. ایجاد و داده ها بصري بازنمایي زمینه در توجهي جالب قابلیت هاي R زبان این، بر عالوه

گرافیک هاي مناسب به جهت پشتیباني از فرایندهاي تحلیلي ارایه مي کند. بر این اساس و با توجه به اهمیت و کاربردهاي زیاد زبان R، در این کتاب به صورت مشخص و بر معرفي راه، عالوه این در R مي پردازیم. از استفاده با داده کاوي فرایند انجام به چگونگي فرایند )Rattle(؛ R معرفي شده است داده کاوي در براي کتابخانه اختصاصي که از یک استفاده

1. http://spectrum.ieee.org/computing/software/the-2015-top-ten-programming-languages

R ان

زببر

ی مه ا

قد: م

ولل ا

صف

Rبا

ی رد

رب کا

ویه کا

داد

w w w . k i a n p u b . c o m 15

کاوش داده ها را تنها با استفاده از قابلیت هاي اولیه R و سایر ابزارهای موجود به انجام مي رسانیم. همچنین، به موضوع گرافیک و بازنمایي بصري داده ها )با استفاده از واسط گرافیکي Rattle( در کنار برخي از مباحث پیشرفته داده کاوي، نظیر کاوش شبکه هاي اجتماعي، نیز پرداخته مي شود. در پایان به منظور جمع بندي آموخته ها، سه پروژه داده کاوي به صورت کامل بررسي و عملیاتي

مي شوند. با باید از محتواي کتاب حاضر، مخاطبان گرامي استفاده حداکثري براي شایان ذکر است، مباحث اولیه زبان R و نحوه استفاده از آن و نیز مفاهیم داده کاوي آشنایي داشته باشند. اگر چه، آگاهي از این موارد الزامي نخواهد بود، ولي عدم داشتن اطالعات کافي در این زمینه ممکن است که

مخاطبان را در فرایند یادگیري مباحث مطرح شده با مشکالتي مواجه نماید. با این حال، اگر چه پرداختن به جزییات مباحث گفته شده خارج از محدوده این کتاب است، ولی به منظور تسهیل فرایند یادگیري، دو فصل ابتدایي به ترتیب مقدماتي را درباره ی زبان R و داده کاوي فراهم مي کنند. از این رو، خوانندگاني که با این مباحث آشنایي کافي دارند مي توانند کتاب

را از فصل سوم شروع نمایند. در انتهاي این مقدمه، یک بار دیگر تاکید مي شود که هدف اصلي کتاب حاضر معرفي و بررسي فرایند داده کاوي با استفاده از زبان R مي باشد. در این مسیر تالش مي شود تا جنبه هاي مختلف و مرتبط از زبان R، مانند مباحث پیشرفته داده کاوي نظیر کاوش شبکه هاي اجتماعي و بازنمایي

بصري داده ها مورد بررسي قرار بگیرند.

R 1-1. معرفيدیدگاه از است. آماري تحلیل هاي و محاسبات انجام براي برنامه نویسي محیط و زبان یک Rلینوکس، نظیر شده شناخته عامل سیستم هاي براي زبان این از نسخه هایي بودن، سراسري ویندوز و Mac OS و همچنین معماري هاي مختلف مانند اینتل1 و اسپارک2 ارایه شده است. از جنبه تاریخي، R در ابتدا توسط پژوهشگراني از دانشگاه اوکلند نیوزلند در سال 1996م ابداع شد و در حال حاضر توسط گروهي از پژوهشگران و توسعه دهندگان از موسسات و دانشگاه هاي مختلف

مدیریت شده و توسعه مي یابد. این زبان از دیدگاه تجاري و نحوه توسعه مبتني بر فلسفه و مفاهیم نرم افزارهاي کد منبع باز3 این به این مساله به صورت مشخص یافته و مي یابد. نیز توسعه اساس بر همان و ایجاد شده 1. Intel2. Spark3. Open Source

R ان

زببر

ی مه ا

قد: م

ولل ا

صف

16

Rبا

ی رد

رب کا

ویه کا

داد

معناست که کد منبع هر یک از مولفه هايR 1 به صورت رایگان در اختیار عموم قرار دارد و این امکان را براي کاربران فراهم مي کند تا بتوانند میزان کیفیت و قابلیت اعتماد آنها را براي فعالیت ها

و پروژه هاي مورد نظرشان بررسي و آزمایش نمایند.به صورت کلي، منتقدان رویکرد توسعه نرم افزار مبتني بر کد منبع باز به یک دلیل مهم به این شیوه ایراداتی را وارد می کنند و آن عدم وجود جامعه کاربري فعال و پاسخ گو در زمینه راهنمایي کاربران براي استفاده از آن نرم افزار و یا زبان برنامه نویسي و یا سیستم مي باشد. اگر چه این موضوع و انتقاد در پاره اي از موارد صحیح است، اما در رابطه با R اینچنین نیست؛ چرا که تعداد زبان این به آموزشي کتاب هاي و انجمن ها آموزشي، فیلم هاي و مستندات از توجهي درخور اختصاص پیدا کرده اند که تا حدود بسیار زیادي مي توانند مشکالتي را که کاربران با آن رو به رو

مي شوند، مرتفع نمایند. البته در کنار تمام مزایایي که R به توسعه دهندگان ارایه مي کند، مشکالتي نظیر عدم توانایي زبان این معایب از یکي به عنوان نیز مي توان را بزرگ2 بسیار داده اي با مجموعه هاي مواجهه برشمرد. دلیل فني این مساله آن است که تمامي محاسبات در R در حافظه اصلي3 سیستم رایانه اي صورت مي پذیرد و از آنجایي که این حافظه باید در اختیار دیگر برنامه هاي سیستم عامل نیز قرار بگیرد، امکان انجام حجم باالیي از محاسبات را از R سلب مي کند. با این حال، این موضوع به این معنا نیست که هیچ گونه راه حلي براي رفع آن وجود ندارد. در مسیر حل این مشکل، واسط4 هاي انعطاف پذیر ارتباط R با بانک هاي اطالعاتي، امکان انجام محاسبات سنگین، نظیر فرایندهاي تحلیلي

داده ها و به صورت مشخص داده کاوي را فراهم مي سازد.

1-2. نصب و راه اندازي در ابتدا باید R را بر روي سیستم خود نصب و راه اندازي نمایید. ساده ترین راه براي این کار، دریافت R از وب سایت رسمي آن )cran.r-project.org( مي باشد. سپس، دستورالعمل هاي ارایه شده

به منظور نصب آن را به صورت مرحله به مرحله دنبال کنید )تصویر 2-1(.

1. Component2. Large Datasets3. RAM4. Interface

R ان

زببر

ی مه ا

قد: م

ولل ا

صف

Rبا

ی رد

رب کا

ویه کا

داد

w w w . k i a n p u b . c o m 17

R تصویر 1-2. دریافت فایل های مربوط به نصب

در واقع نصب R همانند نصب دیگر برنامه هاي نرم افزاري است و مساله خاصي در رابطه با آن وجود ندارد. پس از نصب، با کلیک بر روي آیکون ایجاد شده به وسیله برنامه، کنسول R به

نمایش در مي آید )تصویر 3-1(.

R تصویر 1-3. نمایی از کنسول

R ان

زببر

ی مه ا

قد: م

ولل ا

صف