עקיבה אחר מטרה באמצעות עקיבה אחר מטרה באמצעות אלגוריתםאלגוריתם

Mean-ShiftMean-Shift::מגישיםמגישים

ספי פרידמןספי פרידמןאייל אפרתאייל אפרת

: : מנחהמנחהמר אריה נחמנימר אריה נחמני

מכון טכנולוגי לישראל - הטכניון TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY

הפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה

22

תוכן עניינים תוכן עניינים

מוטיבציהמוטיבציהמטרות הפרויקטמטרות הפרויקטדרכי הפתרוןדרכי הפתרוןתיאור המערכתתיאור המערכתשיפורי מערכתשיפורי מערכתתפקוד המערכתתפקוד המערכתסיכום ומסקנותסיכום ומסקנות

33

מוטיבציהמוטיבציה

:עקיבה אחר עצמים בסרטים. עקיבה אחר עצמים בסרטים.מטרה:מטרה

המתעוררות בעקיבה בווידאו? המתעוררות בעקיבה בווידאו? הבעיות הבעיותמהןמהן ראות לקויהראות לקויה•עצם דומה לעצם שאחריו עוקביםעצם דומה לעצם שאחריו עוקבים•הסתרה רגעית של העצםהסתרה רגעית של העצם•שינוי הגווןשינוי הגוון•זמן עיבודזמן עיבוד•

:דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר פתרון:פתרון לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.

44

מטרות הפרויקטמטרות הפרויקט

עקיבה אחר עצם נע המבוססת על אלגוריתם עקיבה אחר עצם נע המבוססת על אלגוריתם Mean-ShiftMean-Shift

התגברות על חלק מהבעיות המתעוררות התגברות על חלק מהבעיות המתעוררותבעקיבה בווידאובעקיבה בווידאו

השוואה בין מערכת העקיבה שלנו למערכת השוואה בין מערכת העקיבה שלנו למערכתהקורלציההקורלציהעקיבה המבוססת על שיטת עקיבה המבוססת על שיטת

דרכי הפתרוןדרכי הפתרון

נדון בשתי דרכי פתרון לבעיית נדון בשתי דרכי פתרון לבעיית ::העקיבההעקיבה

קורלציהקורלציה

Mean-ShiftMean-Shift

66

שיטת הקורלציהשיטת הקורלציה

בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוס בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוסלאזורים שונים בחלון החיפוש.לאזורים שונים בחלון החיפוש.

חלון החיפושתמונת הייחוס

מקדם נבדוק את האזורים השונים באזור החיפוש ונבדוק את , והעצם הנע ימצא היכן שהקורלציה היא הגבוהה קורלציה

ביותר.

האיזור הנבדק

77

מקדם המתאם של פירסון מקדם המתאם של פירסון ((NCCNCCקרוס קורלציה מנורמלת )קרוס קורלציה מנורמלת )

NCCNCC קבוצות קבוצות 22 - מדד לקשר ליניארי בין - מדד לקשר ליניארי בין מספרים – במקרה של עיבוד תמונה קבוצות מספרים – במקרה של עיבוד תמונה קבוצות

הפיקסלים. הפיקסלים. כאשר ערכים + כאשר ערכים 11- ל - ל 11ערכי המדד ינועו בין ערכי המדד ינועו בין +

+ יבטאו קשר חיובי חזק בין + יבטאו קשר חיובי חזק בין 11קרובים ל קרובים ל המשתנים. המשתנים.

: נוסחת המתאם : נוסחת המתאם,

2 2

(( )( ))cov( , )

( ) ( )

( )

X YX Y

X Y X Y

X

X i ii

E X YX Y

E X E X

E X p x

סטיית התקן:

תוחלת:

88

Mean-ShiftMean-Shift

Mean-ShiftMean-Shift שינוי התוחלת, לפיו מחשבים - שינוי התוחלת, לפיו מחשבים - את המיקום החדש של האובייקט.את המיקום החדש של האובייקט.

?תוחלת של מה?תוחלת של מה לדמות לדמותרמות אפוררמות אפורבפרויקט זה - הסתברות שיוך בפרויקט זה - הסתברות שיוך כל מדד הסתברותי אחרכל מדד הסתברותי אחר

הפעלת אלגוריתם הפעלת אלגוריתםgradient ascentgradient ascent..

99

הדגמת עקיבה בסרט באמצעות הדגמת עקיבה בסרט באמצעות Mean-ShiftMean-Shift

1010

בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום

המידע ההסתברותי המשמש לתוחלת הוא המידע ההסתברותי המשמש לתוחלת הואהיסטוגרמת רמות אפור בסרט.היסטוגרמת רמות אפור בסרט.

מידת אפור בהיסטוגרמת הפריים מותאמת מידת אפור בהיסטוגרמת הפריים מותאמתלמידת הסתברות לפי היסטוגרמת האובייקט.למידת הסתברות לפי היסטוגרמת האובייקט.

255 גוון

גווןגווןהסתברותהסתברותהסתברות

0.020.02

0.210.21

00

255255

=ם

כוס

1

1111

בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום

כל פיקסל באזור הסריקה מקבל מידת התאמה כל פיקסל באזור הסריקה מקבל מידת התאמהלדמות לפי מידת ההסתברות.לדמות לפי מידת ההסתברות.

גווןגווןהסתברותהסתברות

0.020.02

0.210.21

00

255255

0.210.210.10.10.050.05

0.210.210.170.170.040.04

0.170.170.10.10.10.1

פיקסלים של הפריים

בהתאם לגוון

בפיקסל היעד

מידות 0הסתברות בין

1ל-

1212

Region ofinterest

Center ofmass

Mean Shiftvector

הדגמההדגמה

1313

Region ofinterest

Center ofmass

Mean Shiftvector

הדגמההדגמה

1414

Region ofinterest

Center ofmass

Mean Shiftvector

הדגמההדגמה

1515

Region ofinterest

Center ofmass

Mean Shiftvector

הדגמההדגמה

1616

Region ofinterest

Center ofmass

Mean Shiftvector

הדגמההדגמה

1717

Region ofinterest

Center ofmass

Mean Shiftvector

הדגמההדגמה

1818

Region ofinterest

Center ofmass

הדגמההדגמה

1919

בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום

2

1

, 2

1

ni

ii

h Gn

i

i

x xx g

hMean ShiftVector M x x

x xg

h

0.040.040.170.170.210.21

0.10.1

0.050.05

0.10.1

0.10.1

0.170.17

0.210.21

פיקסלים של הפריים

מידות 0הסתברות בין

1ל-

2

1

2

1

ni

ii

ni

i

x xx g

h

x xg

h

מציאת מרכז כובד

2020

איתחול

Mean-Shift

העלאתהסרט

סימוןהדמות

היסטגרמות יצירתמתאימות ראשוניות

יצירת היסטוגרמות

חדשות

עדיף לעבור

סימון ומעבר למיקום המשוערך

החדש

הפריים הצגתהראשון

מעברפריים

מעבר למיקום המשוערך החדש

עדכון ההיסטגרמות

עדיףלהישאר

תיאור סכמתי של המערכתתיאור סכמתי של המערכת

עדיף לעבור

עדיףלהישאר

עדיף עדיף לעבורלעבור

עדיףעדיףלהישארלהישאר

2121

בין השורותבין השורות

מההיסטוגרמה מורידים את השפעות הרקע מההיסטוגרמה מורידים את השפעות הרקע..היסטוגרמת הרקעהיסטוגרמת הרקעהקרוב לדמות, לפי הקרוב לדמות, לפי

בין הפריימים. בין הפריימים.ההיסטוגרמה מתעדכנתההיסטוגרמה מתעדכנת החלקה החלקה מידת ההסתברות המופקת עוברת מידת ההסתברות המופקת עוברת

::גרעיניתגרעינית בשיטה זו ערך הפונקציה בכל נקודה נמדד בשיטה זו ערך הפונקציה בכל נקודה נמדד

בהשפעה יחסית לסביבה הקרובה, כאשר ישנה בהשפעה יחסית לסביבה הקרובה, כאשר ישנה דעיכה של השפעת נקודות רחוקות יותר.דעיכה של השפעת נקודות רחוקות יותר.

2222

יתרונות:יתרונות: ללא קשר ישיר לצורהללא קשר ישיר לצורהמציאת האובייקט מציאת האובייקט.. לא בינארית(. )לא בינארית(.מידת הסתברות מגוונתמידת הסתברות מגוונתקל למצוא קל למצוא( באופן דיסקרטי על מחשב. באופן דיסקרטי על מחשב.קל למימושקל למימוש

חסרונות:חסרונות: ,אובייקטים דומים מבחינת הרכב רמות אפור, אובייקטים דומים מבחינת הרכב רמות אפור

ושונים לחלוטין בצורה, יכולים לבלבל את ושונים לחלוטין בצורה, יכולים לבלבל את העקיבה.העקיבה.

אובייקט המצוי בסביבה דומה לו מבחינת הרכב אובייקט המצוי בסביבה דומה לו מבחינת הרכברמות האפור יכול להיחשב כבלתי נראה.רמות האפור יכול להיחשב כבלתי נראה.

למה דווקא היסטוגרמה?למה דווקא היסטוגרמה?

2323

0 10 20 30 40 50 60 70 80 90 100-20

0

20

40

x

y

SourceRegression )exp` smooth(Regression )double exp` smooth(source with noise

0 10 20 30 40 50 60 70 80 90 100-100

-50

0

50

100

Frame Number

Dire

ctio

n F

orec

ast

)deg

rees

(

מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי כפולמיצוע אקספוננציאלי כפול

2424

0 5 10 150

2

4

6

8

10

SD

Ave

rage

Dis

tanc

e

)9.8,5.9499(

exp` smoothing

double exp` smoothing

.כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול. כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול.כשסטית התקן גדולה עדיף המיצוע הרגיל.כשסטית התקן גדולה עדיף המיצוע הרגיל

.נראה בהמשך כיצד זה משתלב במערכת שלנו.נראה בהמשך כיצד זה משתלב במערכת שלנו

מרחק ממוצע לעומת סטיית תקןמרחק ממוצע לעומת סטיית תקן

2525

שיפורי המערכת לאלגוריתם הרגילשיפורי המערכת לאלגוריתם הרגיל

.שימוש בהיסטורית היסטוגרמת העצם.שימוש בהיסטורית היסטוגרמת העצם

.שימוש במהירות העצם הנע.שימוש במהירות העצם הנע

2626

היסטורית היסטוגרמת העצםהיסטורית היסטוגרמת העצםעל על ולא ולאנסתמך על היסטורית ההיסטוגרמותנסתמך על היסטורית ההיסטוגרמות

ההיסטוגרמה עצמה.ההיסטוגרמה עצמה. כי כי רגילרגיל מיצוע אקספוננציאלימיצוע אקספוננציאלינבצע על ההיסטוגרמה נבצע על ההיסטוגרמה

ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון. ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון.

יתרונות:יתרונות:.עוזר במקרים של השתנות הרכב גווני האובייקט.עוזר במקרים של השתנות הרכב גווני האובייקט עוזר במקרים שישנן הסתרות חלקיות/מלאות של עוזר במקרים שישנן הסתרות חלקיות/מלאות של

העצם הנע.העצם הנע..כל היתרונות הקיימים בהיסטוגרמה.כל היתרונות הקיימים בהיסטוגרמה.קל למימוש איטרטיבי ולא כבד במשאבים.קל למימוש איטרטיבי ולא כבד במשאבים

2727

שימוש במהירות העצם הנעשימוש במהירות העצם הנע מיצוע אקספוננציאלי כפולמיצוע אקספוננציאלי כפולנבצע על מיקום האוביקט נבצע על מיקום האוביקט

מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות קטנות עם מגמתיות די ברורה של המיקום.קטנות עם מגמתיות די ברורה של המיקום.

מתחילים איטרציות מתחילים איטרציותMean-ShiftMean-Shift.מהמיקום המשוער. מהמיקום המשוער

יתרונות:יתרונות: זיהוי נכון ומהיר יותר באיטרציות זיהוי נכון ומהיר יותר באיטרציותMean-ShiftMean-Shift.. מקדימים תרופה למכה" במקרה של מקסימום מקומי "מקדימים תרופה למכה" במקרה של מקסימום מקומי"

אחר קרוב למקסימום המתאים לדמות.אחר קרוב למקסימום המתאים לדמות..קל למימוש איטרטיבי ולא כבד במשאבים.קל למימוש איטרטיבי ולא כבד במשאבים

2828

תפקוד המערכתתפקוד המערכת

נציג מספר סרטים שהרצנו על מערכות שונות:נציג מספר סרטים שהרצנו על מערכות שונות:

הקורלציההקורלציהמערכת מעקב המבוססת על שיטת מערכת מעקב המבוססת על שיטת.. מערכת מעקב המבוססת על מערכת מעקב המבוססת עלMean-ShiftMean-Shift ללא ללא

שלנו. שלנו.שיפורי המערכתשיפורי המערכת מערכת מעקב המבוססת על מערכת מעקב המבוססת עלMean-ShiftMean-Shift עם עם

שלנו. שלנו.שיפורי המערכתשיפורי המערכת

2929

מערכת התאמת קורלציהמערכת התאמת קורלציה

3030

ללא שיפורים ללא שיפוריםMean-ShiftMean-Shiftמערכת מערכת

3131

עם שיפורים עם שיפוריםMean-ShiftMean-Shiftמערכת מערכת

3232

סיכוםסיכום לבדה אינה מסוגלת להתמודד לבדה אינה מסוגלת להתמודד הקורלציההקורלציהשיטת שיטת

עם מספר גופים "דומים" קרובים והסתרות.עם מספר גופים "דומים" קרובים והסתרות. עקיבת ווידאו באמצעות אלגוריתם עקיבת ווידאו באמצעות אלגוריתםMeanShiftMeanShift

בלבד מניבה תוצאות לא טובות ביחס לשיטתבלבד מניבה תוצאות לא טובות ביחס לשיטת..הקורלציההקורלציה

ניתן לשפר את אלגוריתםניתן לשפר את אלגוריתם Mean-ShiftMean-Shift הרגיל הרגיל עם תוספים, המשפרים את ביצועי המערכת עם תוספים, המשפרים את ביצועי המערכת

לאין ארוך. לאין ארוך. אלגוריתם אלגוריתםMean-ShiftMean-Shift פחות משאביםפחות משאבים צורך צורך , ,

ומתאים יותר לעבודה בזמן אמת.ומתאים יותר לעבודה בזמן אמת.

3333

תודותתודות

תודה רבה למר אריה נחמני מנחה הפרויקט תודה רבה למר אריה נחמני מנחה הפרויקטולצוות המעבדה קובי קוחי ואורלי וויגדרסון.ולצוות המעבדה קובי קוחי ואורלי וויגדרסון.

3434

שאלות ?