Obstacle Detection and Environment Scanning by

Computer Vision Technique

Presented by：曹憲中

目標　　發展一套有效的影像視覺系統，此系統能夠提供自走車自行偵測前方行進路線中，是否有障礙物阻擋，更進一步能夠辨識出障礙物的大小與位置，並回應給自走車系統，當作自走車規劃行進路線的依據。

目標　　從單一攝影機所得到的影像並不包含目標物體深度的資訊，所以必須使用到二個以上的攝影機，利用兩張目標物影像的角度不同產生的影像差，配合攝影機的相機投影距陣，來找出目標物與自走車之間的距離。更可以進一步應用在自走車周遭環境的建立上，只要加入攝影機的旋轉角度，經過座標旋轉，即可將數張影像的偵測結果組成周圍環境的大概相關位置。

電腦視覺基礎理論

f 為攝影機焦距， λ = f / Zc 。

電腦視覺基礎理論　　我們知道影像平面本身是由像素組成，若設每個像素水平及垂直單位長度的倒數分別為 ku ， kv ，其單位為 像素數／長度，而點 ( u0, v0 ) 是光軸截影像平面那一點的像素位置，所以 Mc 點的影像投影在影像平面上之 m ( xc, yc ) 若以像素作為座標單位且對應參考於 ( u0, v0 ) 的表示值為 ( u, v ) ，則 u ， v ，可分別以 2.3 式及 2.4 式表示之。

C 是一個 3×3 的上三角矩陣，稱為攝影機校正矩陣 (camera calibration matrix) 。

電腦視覺基礎理論　　一般而言，不同座標系統下的點，可以借由各種轉換之組合來關連之，如果 Mw 是三維空間中的點，Mc 代表攝影機座標系統上的點，世界座標系統和攝影機座標系統之間的轉換，如圖 2.2 所示，可經由旋轉矩陣 R 及平移矩陣 T 來完成之，其間之關係可以以 2.6 式表示之。

電腦視覺基礎理論最後綜合以上的 (2.2)(2.5)(2.7) 方程式我們可以得到

　　因此，從三度空間到平面影像，兩者間的關係可以經由一個 3X4 投影矩陣 P 來轉換。

， C ， R 及 T 分別如 2.5 式，2.6 式所示。

Epipolar Geometry 之定義　　在兩台相對位置固定的 CCD 攝影機，對三維空間影像有其相互關係，對空間中的某一定點所分別拍攝到的影像，二張影像內部的投影幾何關係可以由〝同軸幾何〞（ epipolar geometry ）來描述，其與物體的大小、顏色或形狀均無關，主要的影響來自於兩部 CCD 攝影機的內部參數與相對位置，而 Fundamental Matrix 則是用來描述兩張影像間的同軸幾何關係。

Epipolar Geometry 之定義

Ol 與 Or 是左右兩 CCD 的相機中心， P 是三維世界座標上的某一點

Ol 、 Or 與 P 會構成一個平面，我們稱為 Epipolar plane

P 點投影在左右影像平面上的點為 ml 與 mr ，左右攝影機中心 Ol 與 Or 的連線稱為〝基線〞（ baseline ）

基線與左右影像平面的交點為 el 與 er ，稱為軸極 (epipole)

Epipolar Geometry 之定義

上述所有要素則構成所謂的〝同軸幾何〞 (Epipolar geometry) 。三維空間中所有座標落在 OlP 連線這條直線上的點都會投影在影像平面 I’ 上的同軸線 (epipolar line) ， ur ，反之亦然，而且所有的 epipolar line 都會通過 epipole ，其間的關係稱為 epipolar constraint 。

Fundamental Matrix

定義 Epipolar Geometry 的最主要功能就是要協助尋找兩張影像上點對點之間的對應關係。如此一來則只要在 ur 上尋找 ml 的對應點 mr ，不必將搜尋範圍擴大到整張影像，所以搜尋的複雜度也從二維縮小成一維，從 O(n2) 變成 O(n) 。

要描述一影像點與其同軸線之間的對應關係，用圖 2.5 來說明，其關係式如下：

　　 ur = Fml

　　 ul = FTmr

F 是個 3×3 的矩陣，稱為兩個影像間的 Fundamental matrix 。

Planar Homography

在一個三維空間中的平面，投影到多個影像之間存在一特定關係，此關係稱為 planar homography ，如圖 2.7 所示。

　　假設在三維空間中的平面 p 上有一點 Xp ，投影在兩平面 I1 與 I2 上的影像分別為 x 與 x’ ，由它們之間的關係，可以定義出一個 3X3 的非奇異 (nonsingular) 矩陣 H ，稱為 Homography matrix ，使滿足下列式子：x‘ = Hx 　　　　　 (2-25)

如果三維空間上的點不在平面 p 上，就不會產生上式的對應現象，也就是說會產生視差。

　　假設 Mp 是三維空間平面 p 上的一點， M 也是三維空間上的點，但是它不在平面 p 上， M 與 Mp 投影在影像平面 I 上的點會重合在同一點 m ， M 在影像平面 I’ 的投影點是 m‘ ，但是 m 經過 homography matrix 的運算之後，對應點則是 　，也就是如 (2-25) 式所描述的 　 = Hm 。

Planar Homography

'~m'~m

由圖 2.8 即可看出，　 與 m’ 顯然不是在同一點，如果要由homography matrix 求得 m 在影像平面 I’ 的對應點 m’ ，就必須從下列式子來計算：　　　　　　　　　　　　 = Hm + 　 e’ 　　　　　 (2-26)此時 　≠ 0 ，純量　 就是由 homography 所產生的視差，這種關係就稱為平面衍生視差 (plane induced parallax) 。

Planar Homography

'~m

'~m

Planar Homography

Planar Homography

Planar Homography

Planar Homography

危險空間

　　有一點要注意是，危險空間必須設定在左右兩隻攝影機視野都能包含的範圍，如此才會跟兩隻攝影機有所交集，否則會造成後續處理上的錯誤，因為電腦視覺系統基本上是依靠左右兩眼的影像視差，進而計算空間中的物體與攝影機之間或是世界座標原點之間的距離關係，這是設定危險空間所不能忽略的一點。

基本立體視覺　　有了三維物體在兩張影像上的對應點之後，深度的量測就只是基本的三角幾何問題了，其影像平面與三維物體的上視示意圖如圖 3.2

基本立體視覺

Ol 與 Or 分別是左右兩攝影機的相機中心， f 是相機的焦距， T 是兩攝影機中心之間的距離，它們之間的連線稱為基線 (baseline) ， pl 與 pr 則是三維點投影在左右兩影像平面上的點，它們與影像中心的距離分別是 xl 與 xr ， Z 則是基線與三維點 P 之間的距離。根據三角幾何的關係，它們有如下的關係存在 其中 d = xr - xl ，稱為 disparity ，

也就是對應點在左右兩張影像上的位移差。

基本立體視覺

　　要計算三維距離的必要條件，就是兩張影像對於世界座標上的同一點要有視差，有了視差才能算三維的距離，更簡單地說，兩張影像的視差就代表著距離，因為從不同角度去看同一物體，會分別成像在兩張影像的不同處。上述的視差是針對同一個三維世界點在不同影像上的投影，所以要求得視差，進一步去求三維距離，就必須有此投影點，而且兩張影像上的投影點都必須具備。

景物特徵　　本研究中採用 Shi 和 Tomasi 所提出之演算法來偵測特徵點，這個方法是尋找有較高的灰階強度變化量的小區塊，此區塊即定義為所謂的好的特徵點之區域。

　　以範例來介紹區塊 (patch) 。如圖 3.8 ，圖 3.8(a) 中對座標點 (105, 30) 取一個 12×12 的區塊，區塊放大後將會如圖 3.8(b) 。以 Ip(x) 來代表區塊在像素座標 x(u ， v) 上的灰階值強度，則 x 點的水平方向的灰階影像梯度 gx 定義為

　　　　　 gx(x(u,v)) = Ip(x(u,v)) - Ip(x(u-1,v))

垂直方向的灰階影像梯度 gy 可定義為

　　　　　 gy(x(u,v)) = Ip(x(u,v)) - Ip(x(u,v-1))

以點 (105,30) 的區塊為例，　　代表著

景物特徵

patch

xg

110

99

35

24

)),((u v

x

patch

x vuxgg

景物特徵　　為了在影像中評估好的特徵點，我們首先先找出影像中的各像素之水平方向的灰階梯度 gx 及垂直方向的灰階梯度 gy ，我們可以將這些水平方向的灰階梯度 gx 及垂直方向的灰階梯度 gy

組合成如 3.8 式之 2×2 的矩陣 Z：

　　令 λ1 和 λ2 為 Z 的特徵值 (eigenvalues) ，若兩個特徵值都很小代表區塊中的灰階強度大致都一致的。一個特徵值很大，另一個特徵值很小，代表單一方向性的圖案如物件之緣邊。兩個特徵值都很大，代表是個角 (corner) 或是胡椒鹽 (salt-and-pepper)紋理。當兩個特徵值都很大時，該點適合作特徵點。

景物特徵　　我們所取得的特徵點比較希望是個角，故要求 Z 的兩個特徵值都要大，所以實作上若兩個特徵值 λ1 和 λ2 之中較小的那個值大於設定之門檻值 λ ，即是：

　　　　　 min(λ1, λ2 )＞ λ 　　　　　　　　　　 (3.9)

　　我們就定義該點為“好的特徵點”。這是因為單一方向性的圖案如物件之緣邊，只在一個方向上具有參考價值，因此不是一個好特徵，相同的道理， Harris 等人也將此方法用來做為邊角偵測。採用此法另一個優點為計算速度很快，因為它只需要對影像資料求得一階的灰階影像梯度，而且在改換位置求 Σgx

2 ， Σg

xgy ， Σgygx ， Σgy2 值時，這些值是由鄰近的值漸變而來，不需

全部重新計算。

景物特徵

景物特徵

障礙物定位流程先用左右攝影機分別擷取下列兩張影像：

障礙物定位流程　　接下來是對危險空間的範圍內，作 Sobel 邊緣檢測的運算，然後對影像做二值化：

障礙物定位流程利用平面衍生視差的觀念，將圖 4.4 的左右兩眼影像疊合在一起，只要是不屬於地面的障礙物邊緣，都會產生視差，疊合之後的新影像會有重合的部分與不重合的部分，重合的部仍然是白色，而無法重合的視差部分則呈現灰色。

障礙物定位流程　　最後將灰色部分去除，只留下白色的部分，這就是最後所需要的障礙物輪廓線。

障礙物定位流程

各種障礙物的定位結果

各種障礙物的定位結果

各種障礙物的定位結果

各種障礙物的定位結果

各種障礙物的定位結果

各種障礙物的定位結果

Reference

吳至仁， Real-Time Obstacle Detection and Sign Recognition ，國立成功大學，工程科學系，碩士論文，中華民國九十一年。

陳柏安， Obstacle Detection and Environment Scanning by Computer Vision Technique for Automatic Vehicle System ，國立成功大學，工程科學系，碩士論文，中華民國九十二年。

Thank you for your attention.