Post on 15-Jan-2016
Texture Analysis Using Texture Analysis Using Family of FiltersFamily of Filters
לנו מחכה לנו ...מה מחכה ...מה
...קצת רקעבעיות עיקריות3 – הצגת הבעיה כיצד נייצג טקסטורה – הצעה לפתרון
חילוץ מבנה התמונה באמצעות קבוצה של פילטריםspottiness and barriness Gabor filters
...אתם מוחאים כפיים
.תופעה נפוצה- קל לזהות, קשה להגדיר.עלה הוא אובייקט בתמונה, עלווה היא טקסטורה
טקסטורה עשויה מתת-אלמנטים, שחוזרים עלעצמם בתחום עם מאפיינים סטטיסטיים דומים.
TextureTextureTextureTexture
או קטנים אובייקטים של רב מספר ייצוגאלמנטים- תת
, , , שיער, אבן חלוקי חורשה עלווה דשא
TextureTextureTextureTexture
שטחים שעליהם תבניות מסודרות שנראות כמומספר גדול של אובייקטים קטנים
.נקודות על בע"ח, נמרים צ'יטות.פסים על בע"ח, זברות, טיגריס.תבניות עץ, יער ועור
TextureTextureTextureTexture
תמונת טקסטורה טיפוסית,
TextureTextureTextureTexture
.העין האנושית משלימה את התמונה ואת הקונוטציות התפיסה האישית שלנו עבור החומרים מתקשרת עם
טקסטורה. ,הטקסטורות מורכבות מתת אלמנטים מעוצבים
מסודרים בתבנית מסויימת.
TextureTextureTextureTexture
עיקריות בעיות עיקריות שלוש בעיות שלוש
- חלוקת הטקסטורהTexture segmentation
- הרכבת טקסטורהTexture synthesis
תבנית/צורה מטקסטורה -Shape from Texture
Texture Texture - - חלוקת הטקסטורהחלוקת הטקסטורהSegmentationSegmentation
Texture Texture - - חלוקת הטקסטורהחלוקת הטקסטורהSegmentationSegmentation
-כיצד נחלק את התמונה לcomponents קבועים?
?כיצד נייצג את הטקסטורה כיצד נקבע את הבסיס שגבולות המקטעים
יוגדרו?
Texture SynthesisTexture Synthesis - - יצירת טקסטורהיצירת טקסטורה Texture SynthesisTexture Synthesis - - יצירת טקסטורהיצירת טקסטורה
בעיית יצירת הטקסטורה מנסה לבנות איזוריםגדולים של טקסטורה מדוגמאות קטנות.
ננסה לפתור את הבעיה על ידי שימושבדוגמאות התמונות כדי לבנות מודלי
הסתברות.
Shape from Shape from - - צורה מטקסטורהצורה מטקסטורהTextureTexture
Shape from Shape from - - צורה מטקסטורהצורה מטקסטורהTextureTexture
צורה מטקסטורה כרוכה בשחזור כיוון השטחאו צורת השטחים מתמונת הטקסטורה.
"אנו מניחים שהטקסטורה "נראית אותו דברבנקודות שונות בשטח.
'משמע, עיוות הצורה של הטקסטורה מנקלנק' מרמז על התבנית של הטקסטורה.
ייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורה
תמונות הטקסטורה בדר"כ מכילות תבניותמאורגנות או תת-אלמנטים רגילים –
טקסטונים..לדו'- טקסטון המורכב ממשולשים, מחצים הדרך הטבעית היא למצוא את הטקסטונים
ולתאר את הצורה שהם מיוצגים. הקושי, לא קיים סט כללי שלpatterns.
אנחנו לא יודעים מה אנחנו אמורים לחפש...
ייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורהייצוג הטקסטורה
לכן, במקום לעסוק חיפוש תבניות ברמה של חצים פשוטים יותר.patternsומשולשים, נחפש
.למשל נחפש נקודות וקווים
.ונחפש טענה על המבנה המרחבי שלהם היתרון בשיטה, קל לחפשpatterns פשוטים ע"י
פילטור התמונה.
PrimitivesPrimitives
PP PP
PP
IntensityIntensity
PP P
PPP
OrientationOrientation
PP PP
PP
ColorColor
xx
x
xs
x
CurvatureCurvature
II
I
IILine EndLine End MovementMovement
x x x
xx
x
Extracting Image Structure with Extracting Image Structure with Filter BanksFilter BanksExtracting Image Structure with Extracting Image Structure with Filter BanksFilter Banks
.נבחר סט של פילטרים לינארים.נבצע קונבולוציה עם כל פילטר לתמונה נבחן את סט התוצאות ונסיק מסקנות על
התמונה.
Spots and Oriented Bars FiltersSpots and Oriented Bars Filters
(Malik and Perona)(Malik and Perona)
.סט של פילטרי לפלסיאן במשקלים שונים ובמידות שונות
DOGs- difference of Gauusiansנקראים גם
spot filter, 6 bar filter 2הפילטרים מייצגים
הפילטרים מיוצגים במידה קבועה,
אפור בינוני-אפס
צבעים כהים-ערכים שליליים
צבעים בהירים-ערכים חיוביים.
Gaussian and its derivativeGaussian and its derivative
Spots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars Filters
.התהליך משחזר את המבנה המקומי )יש תגובה חזקה )ערכים גבוהים, בהירים
דומה לגרעין הפילטר.patternכאשר ה- )ואילו יש תגובה חלשה )ערכים נמוכים, כהים
אינו דומה לגרעין הפילטר.patternכאשר ה-
)Malik & Perona, 1990(
Input picture
Learn size-tuned filter responsesLearn size-tuned filter responses
Bergen and Adelson, Nature 1988
Spots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars Filters
מגיבים באופן טוב פילטרים נקודתיים לאיזורים קטנים, אשר שונים מהסביבה שלהם
)שפות, נקודות(.כמו כן, הם מזהים מבנים חסרי כיוון
לעומתם,הם בעלי כיוון ולכן הם נוטים פילטרים קווים
לזהות מבנים בעלי כיוון.
)Malik & Perona, 1990(
Input picture
Spots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars FiltersSpots and Oriented Bars Filters
??כעת, איזה פילטרים נבחראין תשובה חד משמעית( בדר"כ נבחרspot filter ( אחד וסט של
בכיוונים (oriented bar filter)פילטרים כיוונים ופאזות שונות.
לא ניתן לבצע אופטימיציה בבחירת פילטרים בעלי(ערכים שונים(
GaborGabor FiltersFiltersGaborGabor FiltersFilters
דרך אחרת לבניתspot & bar filters . בסיסי של המכפלהפילטרי גאבור הם תוצר
.גאוסיאנים עם פורייה הפילטרים החדשים מגיבים באופן חזק
.וכיוון מיוחד בעלי תדרהאיזורים מסויימים פילטרי גאבור באים בזוגות: האחד משחזר
רכיבים סימטריים בכיוון מסויים והשני אנטיסמטריים בכיוון מסויים.
אין עדיפות לסוג וכיוון פילטר מסויים.אין עדיפות לסוג וכיוון פילטר מסויים.
Gabor FiltersGabor Filters
sine or sine or תוצר של גאוסיאן עםתוצר של גאוסיאן עםcosinecosine
השורה העליונה מראההשורה העליונה מראה((or oddor odd ) )filters filters anti-symmetricanti-symmetric
השורה התחתונה מראההשורה התחתונה מראהSymmetric (or even) filtersSymmetric (or even) filters
Gabor Filter ExampleGabor Filter Example
Even (Symmetric) Odd (AntiSymmetric)
High frequencyLower frequency
Small Scale compared to inverse frequencySmall Scale compared to inverse frequency
= 2 f = 1/6לדוגמא
1עבור תטה גדולה בהשוואה ל/f פילטרים איזוגיים דומים , לנגזרת ראשונה ופילטרים זוגיים דומים לנגזרת שנייה.
זוגי אי-זוגי
Odd Gabor filterOdd Gabor filter
First DerivativeFirst Derivative
Even Gabor filterEven Gabor filter
Gabor FiltersGabor Filters
.הצורה המתמטית עבור הפילטר הסימטרי
cos
2 2
2
x + y-
2Symmetric y xG (x, y) = (k x + k y)
נותנים את כיוון התדר שאליו הפילטר מגיב באופן הכי חזק.
.מתייחסת לקנה מידה/גודל הפילטר
,x y(k k )
מחשב את התרומה המקומית
בכיוון של תדר ובקנה מידה
22yx kkf ,x y(k k )
Gabor FiltersGabor Filters
הצורה המתמטית עבור הפילטרהאנטי-סימטרי.
sin
2 2
2
x + y-
2AntiSymmetric y xG (x, y) = (k x + k y)
נותנים את כיוון התדר שאליו הפילטר מגיב באופן הכי חזק
.מתייחסת לקנה מידה/גודל הפילטר
,x y(k k )
מחשב את התרומה המקומית
בכיוון של תדר ובקנה מידה
22yx kkf ,x y(k k )
Gabor FiltersGabor Filters
The Gabor filter bank
The Leung – Malik (LM) filter bank
Gabor ResponseGabor Response
Gabor ResponseGabor Response
Non-oriented
Oriented
פילטר קלטתגובה
איך נבחר את הפילטרים?איך נבחר את הפילטרים?
כנראה שאין דבר כזה פילטרים טוביםיותר...
אומנם, ננסה לבחור את הפילטרים שיהיוכמה שיותר בלתי תלויים אחד בשני.
פילטרים בעלי כיוון שונה על מנת 6בדר"כ שנוכל לרצף את מרחב התדר.
עיבוד תמונות אולטרא סאונדעיבוד תמונות אולטרא סאונד
עיבוד תמונות אולטרא סאונד המתעדות את מצב24-28הרקמות מוחם של פגים שנולדו בין השבועות
תמונת אולטרא סאונד מצביעה על חיבור ביןחומרים אקוסטיים שונים.
אזורים המכילים הרבה חומרים שונים המצויים באיסדר, יפיקו תהודה רבה ויופיעו כאזורים בהירים יותר
בתמונה. אזורים המכילים מספר קטן של חומרים שונים
המסודרים היטב, יפיקו רק מעט תהודה ויופיעו כאזורים כהים יותר בתמונה.
עיבוד תמונות אולטרא סאונדעיבוד תמונות אולטרא סאונד
איזור פגוע ברקמת המוח, מתבטאת בשינויטקסטורה קלה, קשה להבחין בעין.
נחפש פתרון יעיל יותר, אשר יכול לעזורלרופאים.
איך נפתור את הבעיה הרפואית?איך נפתור את הבעיה הרפואית?
נאפיין את הטקסטורות :הבאות
טקסטורה של חומר
תקיןכרפרנס נשתמש בצילום שאובחן
בוודאות כצילום תקין על ידי רופא
טקסטורה של חומר
פגוע
טקסטורה של חומר חשוד
כפגועכרפרנס נשתמש בכתמים שחורים
בצילום, המצביעים על
קיומם של חורים בחומר הלבן
כרפרנס נשתמש באזור הסמוך
לכתמים שחורים בצילום, דהיינו
חומר לבן הנמצא בסמיכות לחומר
הפגוע
עיבוד תמונות אולטרא סאונדעיבוד תמונות אולטרא סאונד
ההנחה שתכולת התדרים המרחביים שלהטקסטורות, שונה זו מזו.
על בסיס ההנחה ננסה לייצר הבחנה ביןהטקסטורות השונות.
תחילה נגדיר סט פילטרים על פי מספר סקלות ואוריינטציות
נבצע קונוולוציה בין הפילטר לתמונה
נניח הנחת הומוגניות על התמונה. כלומר, שבאיזור מסוים הטקסטורה אחידה
מס' K מס' הסקלות, S תמונות מפולטרות (S*K פילטרים, נקבל S*Kמכיוון שישנם האוריינטציות)
נאפיין את הטקסטורה בפיקסל מסוים )בתמונה המפולטרת( ע"י חישוב ממוצע ושונות מקומיים
5*5בסביבה של
נייצר ווקטור
יצרנו וקטורי רפרנס לכל איזור
בדרך זו נאפיין אזורים בעלי טקסטורה ידועה
אליהם נשווה את תוצאות פילטור התמונה שלא עברה אנליזה בידי רופא )תמונת הבדיקה(
אזור תקין, אזור פגוע וסביבת חור
המטרה היא למצוא למי מוקטורי הרפרנס )אזור תקין, פגוע או חשוד כפגוע( קרוב יותר הפיקסל הנבדק. קרבה תתבטא
מינימליd(i,j)ב
בדרך זו, נאפיין את כל הפיקסלים בתמונה, בסופו של תהליך נקבל הבחנה בתמונה בין
הטקסטורות השונות ומכאן הבחנה בין האיזורים התקינים לפגועים ברקמת המוח
חמש סקלות ועשר אוריינטציות
ארבע סקלות ושמונה אוריינטציות
במכוון נלקחה תמונה של מקרה יחסית ותיק עבורו כבר מאוחרות מצב תמונות פי על בוודאות, הרופאים ידעו
יותר, שאכן מדובר באיזורים לא תקינים שהפכו לחורים.
בדיקת האלגוריתם על תמונת אולטרא סאונדבדיקת האלגוריתם על תמונת אולטרא סאונד
אוריינטציות12 סקלות ו-3 אוריינטציות12 סקלות ו-6
מקרא לצבעים:מקרא לצבעים:אדום-תקיןאדום-תקין
כחול-חשוד כחול-חשוד כפגועכפגוע
ירוק-חורירוק-חור
Gabor Gaborשימושים נוספים של שימושים נוספים של filtersfilters
Gabor filters - Gabor filters - Fingerprint AnalysisFingerprint Analysis
5אורך גל
7אורך גל
9אורך גל
DendrochronologyDendrochronology - Input Image - Input Image
Sebastian Hegenbart, Joachim Kerschbaumer, Dietmar Planitzer
Gabor Filters - ImplementationGabor Filters - Implementation
יצירתGabor filters עם תדרים שונים וכיוונים שונים.
.ביצוע קונבולוציה על הפילטרים שנבחרו-מעלות.180 עד 0רוטציה מ .הרכבת פלטי התמונות
Color-texture FeatureColor-texture Feature
-1-0.8-0.6-0.4-0.2
00.20.40.60.8
1
Input color image
Gaussian color model
Gabor filters
Color-Texture Feature
Color-texture SegmentationColor-texture Segmentation
C1
C4
Ground truth
Color-texture SegmentationColor-texture Segmentation#
13405
2#
6607
5
...קצת הסטוריה...קצת הסטוריה בעקבות ’(90’, 88, 1980)פילטרי גאבור עלו לאור הזרקורים ונעשו פופולארים
הראה שהפילטרים דומים מאוד למאפיינים של תאים מסויימים J.G Daugmanש-בקליפה של עצב הראייה ביונקים מסוימיים )בייחוד חתולים(.
בנוסף, הפילטרים הללו הוצגו כיעילים מאוד למציאת קבוצות אופטימליות דומותגם במרחב התדר וגם במרחב התמונה, לכן הם מתאימים לבעיית חלוקת
טקסטורה.
,פילטרי גאבור יושמו בהרבה אפליקציות, למשל חלוקת טקסטורה Texture Segmentation, target detection, fractal dimension
management, document analysis, edge detection, retina identification, image coding and image representation
BibliographyBibliography Computer Vision -- A modern approach , David Forsyth and Jean Ponce
Chapter 11
"Preattentive texture discrimination with early vision mechanisms" Jitendra Malik and Pietro Perona , Journal of Optical Society of America A, 7(5), May 1990, 923-932.
Recognizing surfaces using three-dimensional textons. Leung, T. and Malik, J. (1999). In ICCV99, pages 1010–1017.
Representing and recognizing the visual appearance of material using three-dimensional textons. Leung, T. and Malik, J. (2001). International Journal of Computer Vision, 43:29–44.
Varma, M. and Zisserman, A. (2004). A statistical approach to texture classification from single images. International Journal of Computer Vision, 62:61–81
Spatial Statistics of TextonsGary Dahme,Eraldo Ribeiro and Mark BushInternational Conference on Computer Vision Theory and Applications
J.G. Daugman, “Two dimensional spectral analysis of cortical receptive field profiles,” Vision Res., vol.20.pp.847-856.1980
J. Daugman, “Complete discrete 2-d gabor transforms by neural network for image analysis and compression,” IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 36, no. 7, pp. 1169–1179, 1988.
THANK YOU!!!!!