Dark data hamideh jafari pavarsi

40
ب وبضثطز یفب سبضیه؛بی زاز( Dark Data ) ضؾی جقفطی دبیس ح23 ث1395 ( ف زا فبر اعی زوشطی فكج زابؾی ق) E-Mail: [email protected] 1 جعفري- تاريكهاي داده- رشاد حسينيه ا

Transcript of Dark data hamideh jafari pavarsi

Page 1: Dark data  hamideh jafari pavarsi

زاز بی سبضیه؛ فبی وبضثطزب(Dark Data)

1395ث 23 حیس جقفطی دبضؾی

(قبؾیزاكجی زوشطی ف اعالفبر زاف )

E-Mail: [email protected]

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 1

Page 2: Dark data  hamideh jafari pavarsi

فشست هطالب زاضس؟ وبض ؾط سبضیه بی زاز ثب وؿبی چ

سبضیه بی زاز حصف اىببر سجبضی سحی اثعاضبی

بی آقىبضؾبظی ضقبی سبضیه زاز

سجبضی بی ایس زاز كب ثطای سبضیه بی زاز بثـ

زاضس؟ ایز سبضیه بی زاز چطا

سبضیه بی زاز وبضثطزبی

سبضیه بی زاز السا عطح فبنط

Deep Dive ای دبیببی اؾشرطاج اثعاض بی اظ زاز زاز سبضیه بی غطح بی چبف بی زاز فضبی زض سبضیه زاز فؾی

سبضیه بی زاز ضی ثط صاضی ؾطبی بی ز زض فش سبضیه ذبـ اعالفبر عایبی ح

اعالفبسی

سبضیه بی زاز سیطیز اضظیبثی

آب قاس ب زاز افجبض

ب زاز ایع قفز ضقس زالی

ب زاز افجبض سبضیه بی زاز یب اضسجبط

سبضیه بز ب یػی سبضیه بی زاز اظ بضسط قطوز سقطیف

سبضیه بی زاز ااؿ

ی آضقی طوع اؾبز ساضی حفبؽز ؽبیف ا ایطا

ثب مبیؿ زض قس ثبظ ،فؾی بی زاز یػی ب سبضیه بی زاز اساظبی چك

فؾی بی زاز ثب سبضیه بی زاز ف مبیؿ

سبضیه بی زاز بی چبف

ب ؾشی اوغی زاز

سبضیه بی زاز اضظـ

سبضیه زاز آیسحسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 2

Page 3: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

(The Explosion of Data)افجاس داد ا

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 3

Page 4: Dark data  hamideh jafari pavarsi

(2010ایس اتلی، )ضاذ افجاس داد ا

ؾب مساض سیس زیشب

ثطاثط فبن 10; ثیی بی 36 ;ظسبثبیز 1 ؾیبض ظی اظ دس

2010

; یه ثییبضز زاز زیجیشب س زلیم سی 5ط اعالفبر شذیط قس وشبثرب وط سب

2010

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 4

Page 5: Dark data  hamideh jafari pavarsi

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 5

Page 6: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

سضذ ضگفت اگیض داد ا س دلیل ػوذ داسد

6

2015سب ؾب 100زاز

اعاثبیز یسئ

قطسا فبزی جس ث فىبؾب فیجطزاضا

جشسی

، 2020سب ؾب سجسی زؾشبب

طز، ث سیسوسب

حشا

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري

Page 7: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

استباط هیاى داد اي تاسیل افجاس داد ا

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 7

Page 8: Dark data  hamideh jafari pavarsi

Dark Matter) ( هاد تاسیل

قبؾی اذشطقبؾی زض بز اظ فی سب اؾز ویب

بیی قس كبس جز جط اظ و زس سضیح ضا دسیس

.اؾز ثیكشط جب زض

لبث سؿىح اظ اؾشفبز ثب ؿشمی عض ث سبضیه بز

.یؿز كبس

ظبی (ثبال) اطظ جب، زض اطغی بز سریی سظیـ

زاكب یىی) (دبیی) قس شكط ویبی ظی سبثف و

(سبضیه بز سذ شی آؾب، فز قبؾی ؾشبض

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 8

Page 9: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

ساصي داد اي ساصهای دس ساستاي فؼالیتاي مسب ماس: تؼشیف گاستش جوغ آسي، پشداصش رخیش

قس یؾبظب اؾشفبز سجبضیسحمك اساف ثطایزض حب حبضط

كاسي كسة فشآيىذاياص (Business Process ) ي

ضذ دس آوا تعثي فعاليتاي .آيىذ ميتذست

اضظـ دب حبی

اعالفبسی زاضاییؿ یه(Information Asset ) حؿة

ی قس

بیزاز ایز حفؼ ؾبظی شذیط قطوشب اوثطاؾز اب دطعی سبضیه

آب ( Compliance)اغجبق زالیث ضا ی زاضس

معمال معطف ت گزضت (گزضت وگش)ستىذ

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 9

Page 10: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

(«Dark data»تیش؛ هبن؛ تاس؛ داسك دیتا )داد اي تاسیل

سطی اظ یىی ،(Dark Data ) سبضیه زاز بی م زض جبحث سبظ ب سحی سجعی فؾی زاز .اؾز آ

ب ثطای بؾجی زضآس جـ ی ساس سب قطوز بی ضك سحطن ثبفث ثى ثبقس؛ ثعضي قطوز بی ؾبظب

سحی، دطزاظـ زیشب، ثی ثب طسجظ فی وبی سجعی ؾبظی زاز ب شذیط ی ساس زیط، ؾی اظ قز زاز

بی زض وبضثطا ضفشبض قبذز ثطای ضا بؾجی ثؿیبض اعالفبر قبؾب، جبق الشهبززاب، اذشیبض زض ثعضي، اساظ

ضیعا اجشبفی ضاكبؾب .(1394 سستمي، پس (زس لطاض قطی ثطب

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 10

Page 11: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

د اي تاسیلااع دا

بیی .1 ـ آضی سبظی ث و زا اس ج .كس

بیی .2 ـ آضی و زاز اس؛ ج ب ث زؾشطؾی اب قس .اؾز زقاض بؾت جبی زض ظب زض آ

بیی .3 ـ آضی و زاز اس ج اس دطزاظـ ظ اب ؿشس، زؾشطؼ زض قس .كس

بیی .4 ب و ی قز زاز ب ضظ ط ؾبظب .ی وس شذیط جبیی زض اب ی وس؛ سیس ضا آ

قز افىس ثطآ ضی دطس و زاضز ضا ؽطفیز ای سبضیه، بز ثطذالف سبضیه زاز

صاضی ثب ی سا چ و اؾز ای انی ضؿ الـ زض قز؛ اجب آ ضی جسزی ؾطبی

ـ بی اظ اؾشفبز زاز اعطاف ضاظ ضع دیچیسی ب عی، - فبیس ضـ اؾبؼ ثط فی ض

صاضی اؾشفبز ثطای ضا آ وطز حصف ضا سبضیه حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 11 .(1394 ضؾشی، دض) وطز آبز جسز ؾطبی

Page 12: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

اهم وظايف حفاظت و نگهداري اسناد مرکز آرشیو ملی ايران

ب ثرف طثع ح ؽبیف اضسجبط ثب ؾبظبب ؤؾؿبر زشی اضائة كبض زض ظیةاؾبز• اجطای مطضار اؾبزی سقی فط فیس آب• اشمب ساضی اؾبز ضاوس زؾشبب زض ثرف دیف آضقیی ؾبظب• ثطضؾی قبؾبئی اؾبز ضاوس شذیط ؾبظی اعالفبر آب•

ازاض اضظقیبثی اؾبز

ط سؾی دطزاظـ اؾبز شی - (قیساضی –زیساضی ) ط سؾی دطزاظـ اؾبز غیط شی - ط ؿشس ؾبظی - ط ضز اعالفبر-

سؾی دطزاظـ اؾبز

.زیجیشب ؾبظی اؾبز وشت• .سجسی اؾبز زیجیشب ث یىطفی یىطفی ث زیجیشب• .سی ثىبضیطی ؿد دكشیجبی زیجیشب یىطفی ث زیجیشب• سجسی اؾبز زیساضی قیساضی ث فطشبی رشف سی ؿر •

.زیجیشب اظ آب .ایجبز سقطیف اؾشبساضزبی طثط ث بثـ زیجیشبی غیطزیجیشبی• سی یىطفی ، اؾى ، چبح فىؽ ، یىطفی یىطفیف اظاؾبز• .DVDیب CDسىثیط اؾبز اؾى قس ثهضر زثیىیز فی ، • غیط قشبضی آؾیت زیس –آؾیت ظزایی طز وی اؾبز قشبضی •

.لج اظ ضز ث ربظ

ا ؽبیف حفبؽز ط آؾیت قبؾی آظبیكب – ساضی اؾبز

ط آؾیت ظزائی طز اؾبز – زیجیشبی ازاض یىطفط ب اؾبز –

زیساضیازاض حفبؽز اظ بثـ – قیساضی

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 12

Page 13: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

یظگی ا داد اي ػظین، باص ضوذ دس هقایس با چطن اذاصاي داد اي تاسیل

كىالر چك اساظبی بی سبضیه زاز

بی ثبظ یػی قس بیزاز یػی بی فؾی یػی زاز زاز

سجبضیثط ـ جشی ؿبئ لبی ؾبضسی وبض وؿت

وذی ضایز حسزیزثس وشطی

(Veracity)نحز

دصیطی ثبال لبثیز جبؾؾیذغط (Variety)سؿ ضایب سقی

زؾز زاز احشب اظ قطر افشجبض

(Velocity) ؾطفز زیطی ایؾبثم السا دصیطی سحی زاز ب

عی بی احشب سحی ؾی ثطای ؾبظب

بی ؾبذشبضیبفشزاز بقیی سحی یبظس

ااؿ زاز سبیدقف غیطشی بی

(Volume)حج

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 13

Page 14: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

هقایس هفم داد اي تاسیل با داد اي ػظین

بی جف ظیط سیط بی زاز بی حج ثیكشطی اب ؿشس؛ فؾی زاز بی ضا فؾی زاز سكىی سبضیه زاز

.ی زس

.زاضس حفػ چب وبض وؿت زض ضا ذز ایز اب ،اس كس دطزاظـ سحی زالیی ث ب زاز ای

.ؿشس سبضیه بی زاز ، فؾی بی زاز زضنس 90 اظ ثیف ، IDC قطوز زیسب اؾبؼ ثط

:سیط بی زاز ایز سكریم ضـ 2

ؿشس ضفش زؾز اظ فطنشی كبط و ؿشس ی بىكف بی ثیف قب كس سحی بی زاز.

دب،) قز ایشی حملی كىالر ایجبز ث جط ساس ی كس سحی ذثی ث اط و كس، سحی بی زاز

2017). حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 14

Page 15: Dark data  hamideh jafari pavarsi

ؾبذز یبفش بی ؾبذز یبفش، ی زاز ب ثس ، ثس ؾبذشبض زض ؾبظب

سحی كس ثطچؿت زؾز رضز

ؾبظی ا عی ثبالی شذیط زاقش

ؿشس و اضظـ زاز بی فؾیقجی آب ضز غفز الـ قس اؾز

سجعی سحی زقاض، دیچیس دطعی

چالص اي داد اي تاسيک

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 15

Page 16: Dark data  hamideh jafari pavarsi

املطي ستی داد اي تاسیل تلیذ هی مذ

Traditional ecology produces “dark data”

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 16

Page 17: Dark data  hamideh jafari pavarsi

دػكی ثزج و اظ %20 ث 2007 ؾب جایع ثعضشطی اظ %2 قس، ی حبیز NSF ثزج ثب و فی یب زض

ؿشطز سظیـ و اؾز قی ثسا ای .اؾز كبث حیغی ظیؿز ف ثطای بی بی وه سظیـ .یبفز اذشهبل

.اؾز و ؿجشب فی بی دطغ اوثط

.اؾز زؾشطؼ لبث غیط ظیبزی حس سب اضظقس اعالفبر ثبم عض ث

ظ ،2013 ،[ديگشان ي ... ] مپتن) .ؿشس انالحبر اجب ث بی آب دػف، زض بی بی اؾطاف اظ بی حبیب

157-158)

:وکت يک

ضذ خاذ تاسيک اي داد تليذ ت مىجش خدتخد ك است اي گو ت ا داد سىتي اكلطي

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 17

Page 18: Dark data  hamideh jafari pavarsi

سؾظ اعالفبر زؾشطؾی بـ و طایكبسی اـ ثطضؾی ث جالر اظ ثؿیبضی فضبی اطغی ظب،

ظیؿز فس بی چبف ب، اوغیؿز زاز، ف فكطزی ثب .اؾز یبفش اذشهبل قز، ی ب اوغیؿز

.افعایس ی ب زاز ای زض فش افب ثب ضا ذز سرهم زاف زاز لطاض سؾط ضا حیغی

قس؛ ثطضؾی مب یه عی ظیؿز حیظ زض ب زاز صاضی اقشطان ضقیز

بی زؾشطؼ دصیطی ثطای اوغیؿز فطز "قم سالـ" ضیىطز اذص :سف آقب و جؿشجطی ثطای زاز

.(جب ب) یؿز

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 18

Page 19: Dark data  hamideh jafari pavarsi

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 19

Page 20: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

اسصش داد اي تاسیل

:اؾز شی طاح عطیك اظ آ القی اضظـ سقیی :چبف شطی ای

زاز سحی سجعی

ثسی زاز عجم

ثسی اعالفبر زؾش

ذز ؾبظب ثب اعالفبر ای ضاثغ ضی ثط سطوع

اسضاد حسيىي-تاسيکداد اي -جعفشي 20

Page 21: Dark data  hamideh jafari pavarsi

آیذ داد تاسیل

وبی، Data Big حظ شرههب اظ ثؿیبضی ای .وس آبز جسیس حظ ای ثطای ضا ذز ثبیس زاز ثبض ای و حظ

بی ث طزاذشد حظ، ای ؾطا نبحت اظ سقسازی اجش ی وكس؛ ثیط سبضیىی ب ز اظ ضا، اضظـ ثب چیعبی زاز

ؿشس اذاللی ؿبئ اعالفبسی آزی لبی كىالر ذغطار، ای فس .ی زاس ذغطبن ضا سبضیه

بیی اظ اؾشفبز فس یب اؾشفبز ضز زض یطی سهی ی آیس حؿبة ث ؾبظب ط زاضایی بی جعء زؾز، ای اظ زاز

ب، .(1394 ضؾشی، دض) اؾز جبظ ،اذاللی لبی اظی ضفبیز ثب آ به ثطفس سب آ

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 21

Page 22: Dark data  hamideh jafari pavarsi

سش ماس داسذ؟داد اي تاسیل چ مسای با

22

بی قطوز ب بی دطضـ، آظـ ثبه ب، سی، یعی، ذزضؾبظی، ثی، ؾبظب ب ثعضي زاكب ... ظاضسرب

حشایی ذجطی ة ؾبیز بی یب ؛ذسبر وبال فطـ ذطیس ؾبیز بی ة

وبی، هفی، ـ وبذیسطی قطوز بی بی زاز ؾبظی فؾی زاز ب شذیط زاز

قجى اثعاضبی زیط زیشبؾشط اضائ یب ؾبذز قطوز بی

زس یقطوز ب … زا بؾشی، ثبی، ایشطز ،طا سف ذسبر اضائ

زیشب، هفی، ـ شرههب بی قطوز ب آی سی سیطا ،قجى ثی .(1394 سستمي، پس) ثعضي ؾبظب

قبؾی زاف اعالفبر ف شرههب ب آضقییؿز.

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري

Page 23: Dark data  hamideh jafari pavarsi

ابضاساي تحلیلی تجاسي اهناات حزف داد اي تاسیل

اؾز ؿیط ربعطار وشط عی ثشط، ثیف ث جط ب زاز ای زضن .اؾز زاز ؾبظب ط زاضائی شطی اطظ

.وس ی فطا ثبظاض زض ضلبثشی عیز ساس ی ؾبظب آ زض و

لجال و بیی زاز ثطای یبظ ضز ثیف ز وه اعالفبر ب زاز سبی سب اس یبفش سؾق دیكطفش اثعاضبی

.آیس زؾز ث ثزس، ؾبذشبض ثس فط غط اظ زؾشطؼ، لبث غیط یب ثی ضثظ

زاز زاض قی ابی قبؾبیی اثعاض رشف؛ فبی اظ زضؾشی زضن ب، عاضـ ب زاز اظ فیك سحی سجعی ثب

.(4 ،1 ل ،2016 وی،) قز ی اضائ ؾبظب ضطضی بی

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 23

Page 24: Dark data  hamideh jafari pavarsi

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 24

Page 25: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

سش آضناسساصي داد اي تاسیل 5

وبض وؿت ثطای اضظقس بی زاز حفؼ : ؾبظی شذیط ضقس سیطیز1.

ؾطیؽ ؾف ذسبر سحی ؾض ث ب زاز ثجز :ب زاز جبـ ضجظ ثجز2.

ؾاثك اسبسیه حفؼ سبضیه بی زاز وبف ثطای زز بی ؾیبؾز جف ایجبز :زاز فط چطذ اسبؾی3.

اؾشطاسػیه سیطیز

(ESI) اىشطیىی قس شذیط اعالفبر سبی وكف ذغطار ب عی وبف :وكف اغجبق اظ اعیب4.

ؿشط ؾبضر وشط ب، زاز ثسی عجم قبؾبیی، :قب ؾبظب زض ب زاز ضؾبی ض ث طح 4 قبؾبیی.5

(3-2 ظ مان،)

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 25

Page 26: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

(1، ظ 2016مشاتض فشهي، )هابغ داد اي تاسیل بشاي طاى دادى ایذ اي تجاسي

26

سطاوف بی بی، ابز اؾبز بی طثط ث لقیز بی زاز

ىبی زاضسب ثبی

ؾیؿش بی ایی

اعالفبر كشطیب

اعالفبر حؿبة

نضر حؿبة بی بی

ساتق ي پشيوذ اي حققي، تيماسان، تيم ضذگان

اعالفبر سبؼ بی سفی ضجظ قس ثیبضا وبضسا

ؿر دكشیجب اظ ؾاثك وبضسا

ثرف ب اقشطاوبر فبیی

وسخ اي قذيمي اسىاد مشتط دس آسضيا ي مشاكض اطالع سساوي

ؾیؿش بی سیطیز اؾبز

ؾیؿش بی لسیی ثبیبی

(اضائ ب یبززاقز ب)حشای ة آضقیب

دبیب زاز

ؾیؿش بی سیطیز حشا

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري

Page 27: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

چشا داد اي تاسیل اویت داسذ؟

یطی ب، عی وبف زض سبضیه بی زاز اظ ثط یطی ثط ـ سط میبؼ زض ؾبظبی ثعضي بی سهی زشی ؾی

.زاضس ی ثؿیبض سبثیط

زاضی ؾىب ؽیف و اؾز اعالفبر ف شرههب فس ثط اعالفبر سیطیز ؾبظی شذیط ؾی ؿئیز ای

.زاضس فس ثط ضا حشا حبویز

ثبغجـ یبثس، زؾز بزضؾز حشی یب ؿخ قس فطاـ اضز ث سبضیه بی زاز ای اظ اعالفبر شرههب اط

.یطز ی ثط زض ضا وكف طح سحی ثطضؾی ب عی افعایف

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 27

Page 28: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

Applications of Dark Data

Medical Genetics

Pharmacogenomics

Materials Science

Fighting Human Trafficking ( 855، ظ 2016، [ي ديگشان]... طوگ) Modern Data Science is enabling NASA's engineers uncover actionable (2014)

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 28

Page 29: Dark data  hamideh jafari pavarsi

ػصش طشح اقذام داد اي تاسیل 4

Four Elements of a Dark Data Action Plan

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 29

Page 30: Dark data  hamideh jafari pavarsi

Analysis: The goal of the analysis phase is to identify what’s valuable.

Classification: automation of the classification and categorization process is essential when

tackling large volumes of dark data.

Collection: making decisions about ongoing management and governance of the information.

Assessment: determine important details about your information governance landscape. (Place of

content ; applications, repositories or storage platforms ; kinds of stored documents ; new contents of

mobile, social and web applications

(Viewpointe, 2013, p 6-8)

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 30

Page 31: Dark data  hamideh jafari pavarsi

Deep Dive :ابضاس استخشاج پایگااي داد اي اص داد اي تاسیل

ؾبذشبضس ثطسازبی ث ؾبذشبض ثس زضسازبی سجسی ؾیؿش زای زیخ

ای بی زاز قس شذیط بی زاز ؿ ضاثغ

Feature Extraction اؾشفبز ضز وبی زاز س

.(850 ،847 ظ ،2016 ،[ديگشان ي ...] طوگ)

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 31

Page 32: Dark data  hamideh jafari pavarsi

DeepDiveاستخشاج داد با

Engineering – in – the – loop - development

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 32

Page 33: Dark data  hamideh jafari pavarsi

33

زضنس بی سبضیهزاز

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري

Page 34: Dark data  hamideh jafari pavarsi

چالص اي هطشح داد اي تاسیل دس فضاي داد اي ػظین

ث فا دبضازای رؿشی ضا ح زاز بی فؾی( : ؾبذشبض)عطحاض ب یب قبب

اؾشرطاج عطحاض سىب آ

فطآیسبی اؾشرطاج اعالفبر

ث فا یه فطآیس ؿشط، افعایكی، فبظی سقبی: عیف زائی اعالفبر

اؾشسال بی ویفیز زاز

(.1444، ل 2016، >زیطا=... وبفبضال )یبزیطی بقی

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 34

Page 35: Dark data  hamideh jafari pavarsi

سشهای گزاسي بش سي داد اي تاسیل

:ؿشس فس یػی ز زاضای ثىط س ثس بی زاز

.Aیؿز، ى كس ثسی عجم ثطچؿت ثس بی زاز اضظقصاضی

.Bاس اج حسزیز ثب اؾشفبز ضز بی ؾیؿش .اس قس حفبؽز ؾبضیب اوثط.

بی زاز دطغ دیكطی سرههی بی دطزاظـ اجب قب، سطوع فس ؾبساضا ابضی ؾ اؾز ى

.ؾبظز اج كى ثب ضا سبضیه

بی ؾیؿش اشربة ث و چطا اؾز؛ سبضیه بی زاز اضظـ بیز سظیـ، زضن قطوز، یه زیسب اظ

قس، صاقش وبض وب عض ث ایى اظ لج ؾیؿش یه فطآیس زض مشضی السبر ثی، بؾت، ایشی

.(1674 ل ،2015 قوال،) وس ی وه

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 35

Page 36: Dark data  hamideh jafari pavarsi

هضایاي اطالػات خاهش تاسیل فت دس دل هحول اي اطالػاتی

ی ساس یطز، نضر آ به ضضبیز ثب نالحیز زاضای افطاز سؾظ اط دیكطفش، جاـ زض صاض سبثیط دطضك وبض وؿت ای

ب افطاز ثطای ضا ثعضی كىالر .آضز دسیس ؾبظب

بی قطوز ب ا ؿشس؛ سبضیه بی زاز نبحت و ثعضي ؾبظب

بیی چی اظ سبظ قبی وكف سحی سجعی سابیی و شرههی افطاز سرههی قطوز بی ز ؛زاضس ضا زاز

سستمي، پس) ثیبثس جبق ثطای ضا بفقی ی ساس، احشبال و ،اجشبفی الشهبزی جبحث ث س فالل ؾؿبر افطاز بیز زض

1394).

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 36

بی سبضیهسج ؾ ؿ ربعت ث زاز

Page 37: Dark data  hamideh jafari pavarsi

(2017-2014هینريچسن، )اسصیابی هذیشیت داد اي تاسیل

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 37

Page 38: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

فشست هابغ

ظ . حسيىي اسضادچل ي پىجميه سلسل وطست اي تخصصي علم اطالعات ي داوص ضىاسي . داد اي تاص(. 1395)افاضاتي، محمذ http://www.hepl.ir/UI/Forms/Index.aspxتاصياتي دس . 1-38

ظ (. 175)عصش ضثک، مفقيت ي كاسآفشيىي : ماىام ضثک. آيىذ سيضه يا سشاب خطشواک: داسک ديتا(. 1394)پسسستمي، شمض 2467network/-mag.com/are-http://www.shabakehتاصياتي دس . 1-7

تاصياتي دس . ريل مذخل ماد تاسيک. داوطىام ستاس ضىاسي فت آسمان747http://www.haftaseman.ir/webdb/article.asp?id=

. حسيىي اسضادچل ي چاسميه سلسل وطست اي تخصصي علم اطالعات ي داوص ضىاسي . علم داد(. 1395)عليمحمذي، داسيش 435d1aca4941-5e7b-b3c4-9ab6-fd2b4http://www.hepl.ir/UI/Forms/news.aspx?Id=dfdتاصياتي دس

/https://fa.wikipedia.org/wikiتاصياتي دس . ريل مذخل ماد تاسيک. ييکي پذيا

http://www.gartner.com/it-glossary/dark-data/

Alvarado, Christine; Teevan, Jaime; Ackerman, Mark S.; and Karger, David (2003). Surviving the Information Explosion: How People Find Their Electronic Information. massachusetts institute of technology. Artificial intelligence laboratory , cambridge. Retrieved in: www.ai.m i t.edu

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 38

Page 39: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

اداه -هابغ

Cafarella, Michael and […et al.] (2016). Dark Data: Are We Solving the Right Problems?. Presented in ICDE Conference (2016 IEEE). Retrieved in: http://iranpaper.ir

Evans, Dave; Hutley, Rick (2010). The Explosion of Data How To Make Better Business Decisions by Turning “Infolution” into Knowledge. Cisco IBSG. Retrieved in: http://www.cisco.com/c/dam/en_us/about/ac79/docs/pov/Data_Explosion_IBSG.pdf

Hampton, Stephanie E. [… et. al.] (2013). Big data and the future of ecology. Ecol Environ 11 (3). pp. 156-162. Retieved in 10.1890/120103

Hinrichsen, Adrian (2014-2017). The Evolution of Dark Data and how you can harness it to make your business Smarter. Retrieved in: https://datumize.com/evolution-dark-data/

Kevin, Njeru Mwiti and [… et. Al.] (2016). Dark data: Business Analytical tools and Facilities for illuminating dark data. Scientifiv Research Journal: 4(4). Retrieved in www.scirj.org

Krantz, Bob; Fehrman, Jeffery (2016). The Dark side of Dark Data. Focused Discovery. Pp. 1-2. Retrieved in www.mindseyesolutions.com

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 39

Page 40: Dark data  hamideh jafari pavarsi

1395بهمن 23 |کتابخانه عمومی حسینیه ارشاد |سلسله نشستهای علم اطالعات و دانش شناسی |( Dark Dataداده های تاریک ) 47جلسه |حمیذه جعفری

اداه --هابغ

Pal, Kauskhik (2017). What is the importance of Dark Data in Big Data world? Retrieved in: http://www.kdnuggets.com/2015/11/importance-dark-data-big-data-world.html

Shukla, Manish and [… et al.] (2015). POSTER:WinOver Enterprise Dark Data. Retrieved in: http://dx.doi.org/10.1145/2810103.2810131.

Viewpoint (2013). Dark data, Big data, Your data: Creating an action plan for information governance. Pp. 1-12. Retrieved in: www.wpointe.com/onpointe

Zhang, Ce; Shin, Jaeho; Cafarella, Michael; Niu, Feng. Extracting Databases from Dark Data with DeepDive. ACM. San Francisco, CA, USA. pp. 847-859. Retrieved in: https://cs.stanford.edu/people/chrismre/papers/modiv923-zhangA.pdf

http://www.slideshare.net/PyData/dark-data-a-data-scientists-exploration-of-the-unknown-by-rob-witoff-py-data-sv-2014?qid=4fbacbaf-4ec6-4ba9-9abe-40851472f710&v=&b=&from_search=2

http://www.nlai.ir/Default.aspx?tabid=2587

حسينيه‌ارشاد-داده‌هاي‌تاريك-جعفري 40