即時駕駛者視角偵測警示系統 作者 : 許祐松朝陽科技大學資訊工程系 指導教授：鄭文昌博士

報告人 : 林韋呈班級 : 碩研資工一甲學號 MA2G0101

1

OUTLINE

.壹 研究動機

.貳 相關文獻討論

.參 研究目的

.肆 研究方法

.伍 實驗與結果

.陸 結論2

一、研究動機

1. 汽車普及，造成了車禍事故頻頻發生

2. 車禍主因

3. 智慧型手機

4. 駕駛者視線

3

二、相關文獻討論

1. 頭部姿勢定位，可分為 3 個自由度

1) Pitch(-60.4 ~ -69.6)

2) Roll(-40.9 ~ -36.3)

3) Yaw(-79.8 ~ 75.3)

4

二、相關文獻討論

2. Wang 和 Yang 提出一個方法來偵測人臉

1) 同態濾波 : 增強亮度與對比

2) 叢集演算法 : 分離臉部特徵

3) 二值化

5

二、相關文獻討論3. Wang 和 Chen 提出了一個兩個步驟的眼睛偵

測方法

1) 能量分析去雜訊

2) 頭部輪廓偵測 (head contour detection: HCD)

3) 小波轉換投影 ( 眼睛、鼻子、嘴巴 )

4) 缺點 : 無法通用不同人、不同視角6

二、相關文獻討論5. Between-eyes 濾波器

1) 透過膚色找出可能為人臉區域

2) 快速傅立葉轉換

3) 人臉的幾何位置特徵

缺點 : 在於多人入鏡或是膚色背景過大時，難以判斷哪個頻域區塊才是所求的兩眼之間位置

7

二、相關文獻討論6. Viola-Jones 檢測器， OpenCV 稱這個檢測器

為「 Haar 分類器」

1) Haar 的小波特徵 : 由矩陣圖像區域之加減組成

2) 偵測人臉和紋理相近等物體

8

二、相關文獻討論7. 區塊匹配法 (block matching)

在文獻中的應用是將人臉區域給擷取出來，進行放大、縮小、旋轉等等

1) 優點 : 不怕亮度變化，追蹤也較不易失

敗

2) 缺點 : 只適用正臉 9

二、相關文獻討論8. 卡爾曼濾波器 (Kalman Filter)

解決裡散線性的估測問題是一種高效率的數學方式來估計系統狀態，藉由過去的狀態經過預測技術來得到目前的狀態，在眼睛追蹤常用來來提升準確度。

10

二、相關文獻討論9. 粒子濾波器

透過過去所觀測的狀態來建築出目前狀態的機率密度函數，它為多特徵融合跟追蹤提供了一個很好的概率框架 (Bounding Box)

11

三、研究目的

1. 使用 OpenCV 找出人臉2. 透過 HS 、 HOG 、粒子濾波取得雙眼和嘴巴

的位置

3. 三角幾何特徵

4. 駕駛者的視線

12

四、研究方法1. 系統流程

13

四、研究方法1. 樣板建立

1) OpenCV 偵測人臉 (Haar 分類器 )

2) ROI推估嘴巴和眼睛的位置

3) 偵測嘴巴和眼睛

14

四、研究方法1.1 粒子濾波器 演算法

15

四、研究方法1.2 粒子濾波器機率密度變化圖

16

四、研究方法1.3 粒子濾波器流程圖

17

四、研究方法1.4 粒子濾波器眼睛的 Bounding Box

18

四、研究方法1.5粒子預測

19

四、研究方法

20

1.6方向梯度直方圖 (HOG)

四、研究方法1.7粒子估測

1) Bounding Box

2) 直方圖 (邊緣、顏色、梯度 )

3) 以舊粒子權重計算 cdf

21

四、研究方法2.人臉 3D三角模組特徵計算

A B

C

22

四、研究方法3. 立體視覺針孔模組

23

四、研究方法5. 3D 三角模組特徵向量

圖片座標點 :

立體影像的差異值 :

深度 :24

四、研究方法6. 類神經網路

1) 第一層使用雙彎曲轉移函數的多層神經元tan-sigmoid transfer function

2) 第二層的函數其線性的輸出層pure-liner function

25

四、研究方法

26

7. 倒傳遞類神經網路與視角偵測

1) 使用人臉模組特徵向量中 F = [a, b, c, ∠A,

∠B, ∠C, ZAB, ZBC, ZCA]T 等九個數據當作我們的輸入 (訓練資料 ) ，而輸出則為我們的視線方向

五、實驗與解果1. 實驗環境

27

五、實驗與解果2.基於 HS特徵的嘴巴偵測結果

28

五、實驗與解果2.基於 HOG特徵的嘴巴偵測結果

29

五、實驗與解果3.基於 HS特徵的眼睛偵測結果

30

五、實驗與解果3.基於 HOG特徵的眼睛偵測結果

31

五、實驗與解果3. 不同隱藏層節點的 MSE

個視線方向隨機使用六組當作訓練資料，另外三組當作測試資料進行交互驗證並重複實驗三次。

32

7.結論1. 實驗發現， HOG-粒子濾波器追蹤眼睛、 HS-粒子濾波器做追蹤嘴巴，能達成較好的追蹤效果

2. 訓練資料庫方面，我們可以得到平均約 85%的偵測率

3. 實驗方現，在 15-20 個類神經網路中間節點可以達到較好的訓練效率

33

Q&A

34