עקיבה אחר אובייקטים בסרט וידאו באמצעות שילוב אלגוריתם

Condensation/Particle filter Mean shiftו–

מגישים:

אור שור

תומר מץ

מנחה:נחמני אריה

: המצגת מבנהמבוא •

• : תיאורטי Particle Filter -רקע - Mean Shift

מערכת • מבנה

תוצאות •

סיכום •

:מטרות הפרויקטמימוש מערכת לעקיבה אחר אובייקטים בסרט וידאו בעלת

מאפיינים המאפשרים עקיבה גם במקרים של -

תנאי סביבה משתנים•

הסתרות מסוגים שונים•

תנועות מצלמה•

מבוא:

של שיטות שונות תוך צמצום תרונותיהן מוטיבציה – ניצול י•חסרונותיהן

Particle filter

אובייקט • מצב לחיזוי הנחות, Xמנגנון ללא הכללי במקרה. בתמונה הרעש ואופי שלו ההסתברות צפיפות לגבי מוקדמות

• – " אינו – " האובייקט מצב בתמונה המעניין הערך הבעיהקודמים מצבים מתוך אותו לשערך ויש ישירה למדידה ניתן

. זמינות ומדידות

מצב אובייקט

מדידות

• : קרוב פתרוןההסברות

( | )p X Y דגימות של סט באמצעותממושקלות:

, השיטה: • הוספת קיים דגימות סט על חיזוי מודל הפעלת, דגימה לכל מיקום רעש וקביעת לדגימות חדש ציון נתינת

. הדגימות כל כתוחלת החדש האובייקט

Mean Shift

שיטה למציאת נקודות מקסימום של פילוג הסתברות•

של פילוג דגימות הנחה – מדידות בתמונה מבטאות •הסתברות קיים.

פילוג הסתברות חבוי משוער מדידות בתמונה

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מציאת מרכז מסה בסביבה של נקודה קיימת וייצור השיטה: וקטור כיוון. חזרה על התהליך עד להתכנסות של מרכז המסה

החדש עם המרכז הקודם או עד לערך סף מסוים.

מבנה המערכת

Particle Filterמודול ה- particle (Prediction)הפעלת מודל החיזוי על כל •

מיקומו האפשרי של האובייקט בפריים הבא נקבע עפ"י 1tמיקומו בפריים הקודם ומהירות התנועה שלו- tX X V t

Particle Filterמודול ה-

:)Diffuse(הוספת רעש אקראי לכל דגימה •לכל דגימה מוסף רעש אקראי עם שונות כלשהי עבור הגורם בעל

הסדר הגבוה במודל .

לאחר שמחושב מיקום האובייקט מוסף שוב רעש (לאו דווקא זהה) •לתוצאה.

[ ] [ 1]n n vV k V k N

[ ] [ 1] [ ]n n n xX k X k V k t N

Particle Filterמודול ה-

נתינת ציון לכל דגימה - לקביעת הציון נבחן שימוש בקריטריונים •הבאים וקומבינציות שלהם:

קורלציה בין היסטוגרמת האובייקט להיסטוגרמת הרקע •

. RGB של היסטוגרמת Bhattacharyya distance שימוש ב- •

קורלציה בין היסטוגרמת האובייקט הנוכחי לבין היסטוגרמת •האובייקט המקורית

חלוקת האובייקט לחלק עליון ותחתון.•

מיקום האובייקט החדש נקבע כממוצע משוקלל של הדגימות •. שהתקבלו ונתוני האובייקט מעודכנים בבסיס הנתונים

Mean Shiftמודול ה-

. Mean Shift יופעל Particle Filter לאחר סיום פעולת ה- •

נבנה חלון חיפוש סביב מיקום האובייקט כפי שהתקבל • .Particle Filterמה-

נמצא מרכז המסה של חלון החיפוש . •

, ,

( , )( , ),

( , ) ( , )

ttyx

t tt t

x y x y

y W x yx W x yx y

W x y W x y

1( , ) ( ( , ))t O tW x y h I x y

Mean Shift עם ה- PFשילוב תוצאת ה-

מקבל ציון גרוע יותר מתוצא mean shift במידה ותוצא ה-•, מעודכן מרכז המסה למחצית המרחק בין particle filterה-

התוצאות:

תהליך זה יחזור על עצמו עד להתכנסות •

0 0,2 2

t tt t

x x y yx y

סגמנטציה

לעיתים לאחר סיום השלבים הקודמים המלבן החוסם עדיין אינו •עוטף את האובייקט בצורה מדויקת ובכל מקרה האינפורמציה שבידנו

כוללת רעשים:

על מנת לקבל מידע מדויק יותר על האוביקט מבוצעת סגמנטציה •בסביבת המיקום החדש של האוביקט.

(a) (b) (c)

(d) (e) (f)

סגמנטציה)aהאובייקט לפני סגמנטציה (

)bתמונת ההפרשים (

)c התמונה הבינארית מתוך תמונת(

הפרשים

)d התמונה הבינארית לאחר ניקוי (dilation רעש ו-

)e-התמונה לאחר ניקוי רעש ו ( erosion

)f סימון האובייקט לאחר (בסיום הסגמנטציה האוביקט מסומן מחדש ונתוניו מעודכנים בבסיס •הסגמנטציה

הנתונים.

תוצאות

עקיבה ללא הסתרות:

עקיבה עם הסתרה סטטית:

תוצאות

עקיבה עם הסתרה דינאמית:

בעיה: אובדן זהות של אובייקטים במיקום קרוב כתוצאה מהבדל • בציונים שהם מקבלים ביציאה מן ההסתרה.

פתרון אפשרי: הפסקת עדכון המשקלים בזמן ההסתרה •והסתמכות על מודל התנועה.

תוצאות

עקיבה עם הסתרה דינאמית:

בעיה: הפתרון הקודם מתאים רק למקרים פשוטים, ומחייב עקיבה •. frameסימולטנית אחרי כל האוביקטים ב-

פתרון: הסתמכות על מאפייני צבע. •

תוצאות

עקיבה עם מצלמה נעה:

תוצאות

סיכום כ- על המערכת בדיקות המסקנות 25מתוך נתקבלו שונים סרטים

הבאות:

. המערכת מאפשרת עקיבה מדויקת בתנאי סביבה פשוטים.1

התחשבות 2 תוך להיעשות צריכה למערכת הפרמטרים בחירת .בתנאים המשוערים של הסצנה.

. בבחירת פרמטרים מתאימה, המערכת מסוגלת להתמודד היטב עם 3הסתרות סטאטיות לפרקי זמן שאינם ארוכים מאוד.

או 4 מוקדמות הנחות מחייבת דינאמיות הסתרות עם התמודדות .בניית מודל ייעודי.

. עקיבה בתנאים של תנועת מצלמה כרוכה באובדן דיוק של העקיבה.5

הצעות לשיפור ולהמשך עבודה:

. שינוי הפרמטרים לעקיבה בצורה דינאמית במהלך הסרט.1

. בחינת שימוש במרחבי צבע שונים ע"מ לייצר אבחנה טובה בין 2אובייקטים.

. ביצוע תהליך הדגימה בצורה מקבילית ע"מ לשפר ביצועים.3

. שימוש במודל רקע מסתגל על מנת להפחית רעשים הנגרמים 4מתנאי הסביבה (צללים, שינויי תאורה, תנועה סטאציונרית של

עצמים וכו').

. שיערוך תנועת מצלמה והזנת התוצאות כקלט לאלגוריתם.5

. בחינת שילוב מסווג בתהליך העקיבה ע"מ להתמודד טוב יותר 6עם תנאים של הסתרה דינאמית.

סיכום