מודל מפושט של נוירון

Vs

1s

2s

3s W3

W1

W2

i

iisWh

)( Thfs

הקלט:

הפלט:

פונקציות קלט-פלט טיפוסיות:פונקצית מדרגה

פונקציות קלט-פלט טיפוסיות:פונקציה סיגמואידלית

רשתות נוירונים

שכבתקלט

ייצוגיםפנימיים

שכבת פלט

עיבוד ולמידה ברשתות נוירונים

עיבוד- ברשת כתוצאה מעדכון מצבי הנוירוניםהתפתחות בזמן של

מקבילי של פלטי הנוירונים. תבנית פעילות המייצגת את הקלט.תנאי ההתחלה:

תבנית פעילות המייצגת את הפלט.התוצר הסופי:

למידה - ברשת )והארכיטקטורה( הקשריםהתפתחות בזמן של

באמצעות אלגוריתמי למידה ואינפורמציה חיצונית. סט קשרים התחלתי כלשהו.תנאי ההתחלה:

סט קשרים המאחסנים אינפורמציה נלמדת התוצר הסופי:ומאפשרים לרשת לבצע את תהליך העיבוד במשימה

שנלמדה.

ייצוג מידע בזמנים קצרים ובזמנים ארוכים

הנחת המוצא בחקר המוח -

המידע מיוצג ע"י הפעילות בזמנים קצריםהחשמלית של תאי העצב ומעובד ע"י

הדינמיקה של רשתות תאי העצב במוח.

המידע מיוצג ע"י החוזקים בזמנים ארוכיםהסינפטיים ומעובד ע"י תהליכי למידה, כלומר

ע"י שינוי חוזקיהם של הקשרים.

?האם יש תפקיד חישובי לתאי הגליה

יותר 100 עד פי 10במוח יש בערך פי תאי גליה מתאי עצב.

בשנים האחרונות מתגלה כי לתאי הגליה )בפרט לאסטרוציטים( תפקידים בתהליכי

למידה.

האם נזכה לראות תחום כגון: Computational Gliascience ?

מהן רשתות נוירונים?

הגדרה - של ממספר רבמערכות המורכבות

, הקשורים הדדית פשוטיםמעבדים .במקביל ופועלים בקשירות גבוהה

למידההמידע נרכש דרך תהליך ומאוחסן בקשרים.

דוגמאות לרשתות פשוטות – שערים לוגיים

פלט 2קלט 1קלט

0 0 0

1 1 0

1 0 1

1 1 1

ORשער

פלט 2קלט 1קלט

0 0 0

0 1 0

0 0 1

1 1 1

ANDשער

נוירונים הדוגמא לצורך ניקח בינאריים:

1,0S

הפלט של נוירון הוא מהצורה:

ואם 1)פונקצית מדרגה: אם הקלט גדול מהסף הפעילות היא (0קטן מהסף הפעילות היא

)TSWSW( 2211

דוגמאות לרשתות פשוטות – שערים לוגיים

0.5

1 1

ORשער

1.5

1 1

ANDשער

סוגים של למידה

– יש מורה שיודע את פוקחת מלמידה •התשובה הרצויה לכל דוגמא.

– אין מורה.לא מפוקחת למידה •

זיהוי ספרות בכתב יד

http://yann.lecun.com/exdb/lenet/index.html

רשת רב שכבתית לא-לינארית

Ny

Mx1x 2x

1y 2y

1z 2z Lz

פונקצית הקלט-פלט של כל נוירון פונקציה היא בדרך-כלל

סיגמואידלית

למידה לא מפוקחת

כיצד גילה מנדלייב את הטבלה המחזורית?

הוא הבחין בכך שקיימת חוקיות במאפיינים של היסודות השונים. לא היה לו מורה שלימד אותו

את החוקיות!

בלמידה לא מפוקחת המטרה היא לאפיין את החוקיות הסטטיסטית של עולם הקלטים.

דחיסת מידע על-ידי הפחתת מימדים

נבחר את הציר שלאורכו השונות הגדולה ביותר!הרעיון:

נתונים קלטים דו-מימדיים.

לשמור מכל קלט המשימה:מספר יחיד, כך ששחזור

הקלט המקורי יהיה הטוב ביותר שאפשר להשיג.

דחיסת מידע על-ידי הפחתת מימדים

מימוש ברשת נוירונים לינארית:

1x 2x

01 W 12 W

22211 xxWxWy

מה לעשות כשיש קורלציות בין הרכיבים?

נבחר מערכת צירים חדשה שבה אין קורלציות, ואז הרעיון:נבחר את הציר שלאורכו השונות הגדולה ביותר!

גישה זו מכונה "ניתוח רכיבים עיקריים" (PCA – Principal Component Analysis).

דחיסת מידע על-ידי הפחתת מימדים

1x 2x

2

11 W

2

12 W

2122112

1xxxWxWy

הדגמה ב- MATLAB

מימוש ברשת נוירונים לינארית:

ניתוח רכיבים בלתי-תלויים (ICA – Independent Component Analysis)

לינאריים מבוססת על נוירונים PCAגישת ה- ומוגבלת ביכולת פעולתה על נתונים

אמיתיים מהעולם.

לא מבוססת על נוירונים ICAגישת ה- ושימושית במגוון רחב של ישומים לינארייםמעשיים.

מה קורה כשהקלטים הם תמונות ?טבעיות

תכונות התאים המתהווים בלמידה

דומות לאלו של התאים בשלבים

הראשונים של עיבוד המידע הראייתי

במוח.

זיכרון אסוציאטיבי ברשתות נוירונים

(.1982העבודה המקורית נעשתה על-ידי ג'ון הופפילד )

המודל מתאר רשת משוב )כל נוירון מחובר לכל נוירון באופן כללי(.

לכל זיכרון אגן משיכה במרחב המצבים של הרשת

זיכרון אסוציאטיבי ברשתות נוירונים

N - אינפורמציה מיוצגת ע"י וקטורים של ייצוג אינפורמציהביטים. כל וקטור מהווה מצב אפשרי של הרשת.

- זרימה של הרשת אל המצב היציב ממצב אסוציאטיביותהתחלתי מרוחק הנמצא באגן המשיכה שלו.

- התייצבות הרשת במצב מסוים מהווה שליפת אינפורמציהשליפה או שחזור של תבנית האינפורמציה המיוצגת ע"י מצב

זה.

- האינפורמציה מאוחסנת באופן אחסון אינפורמציהמבוזר במטריצת הקשרים הסינפטיים. הקשרים נקבעים כך

שתבניות הזכרון תהיינה מצבים יציבים של הדינמיקה.

- התהליך שבו מתעדכנים הקשרים הסינפטיים למידהכדי לייצב תבנית או תבניות זכרון חדשות.

Ermentrout and Cowan, 1979.

Bressloff et al., 2000-2003.

מודל של רשת נוירונים

הקלט המגיע מכיוון

הרשתית

הקורטקס

הראייתי

Mx1x 2x

1s 2s Ns

W

K

הנחות המודל

הסם מחזק את כל הקשרים בין הנוירונים •בקורטקס הראייתי.

כאשר חוזק הקשרים עובר ערך קריטי מסוים •נוצרות תבניות של פעילות ספונטנית,

הנתפסות כגירויים ראייתיים, גם בהעדר קלט ראייתי.

בגלל מבנה הקשרים ההזיות הן של תבניות •גיאומטריות אופייניות ואינן שרירותיות.

של רישוםהזיות

מודל

מודלרישום של הזיות

מודלרישום של הזיות

השערה

ניתוח מתמטי של ייצוג מידע ברשתות משוב מראה כי הייצוג אופטימלי קרוב ל"מעברי פאזה",

כלומר על הגבול בין "הגברה יעילה של הקלט" לבין "פעילות ספונטנית לא נשלטת".

במצבים אלו, שינוי קטן בחוזק הסינפסות עשוי לחולל שינוי משמעותי בהתנהגות הדינמית של

הרשת.

האם יתכן שרשתות נוירונים במוח נוטות לעבוד קרוב לגבול בין "גאונות" ל"שיגעון"?

"כשנבין את החישוב בטבע...

...נבין את טבע החישוב".

--J. von Neumann