整合 ANN 與SVM 於金凸塊表面瑕疵 分類之研究 ·...

90
國立高雄師範大學資訊教育研究所 碩士論文 整合 ANN SVM 於金凸塊表面瑕疵 分類之研究 The Study of the Integration ANN and SVM in Gold Bump Surface Defect Classification 指導教授:孫培真 博士 賀立維 博士 研究生:賴怡青 中華民九十五年六月

Transcript of 整合 ANN 與SVM 於金凸塊表面瑕疵 分類之研究 ·...

  • 國立高雄師範大學資訊教育研究所

    碩士論文

    整合 ANN 與 SVM 於金凸塊表面瑕疵

    分類之研究

    The Study of the Integration ANN and SVM in Gold Bump Surface Defect Classification

    指導教授:孫培真 博士

    賀立維 博士

    研究生:賴怡青 撰

    中華民九十五年六月

  • 整合 SVM 與 ANN 於金凸塊表面瑕疵分類之研究

    摘要 本研究旨在透過一種新的金凸塊表面瑕疵影像分類方法,改善目前

    人工目視瑕疵分類的缺點。由於瑕疵分類資訊乃是最直接及有效反應

    異常製程發生之分析,因此如何提供愈精確的分類正確率方法,對於

    良率提升、故障排除和節省成本皆有莫大幫助。

    為提高分類正確率,本研究提出一種透過期望權重的計算方法,整

    合兩個分類器,使其能用來解決當兩個分類器有相異分類結果的時

    候,以修正被分類錯誤的情況。本方法不僅可以提升分類正確率,並

    可根據瑕疵分類的結果,提供製程階段中瑕疵問題的來源,以便針對

    異常情況加以改善,預防同樣的問題再度發生。經實驗結果證明此整

    合BPN與SVM的分類方法IoBS(Integration of BPN and SVM)可解決九

    類金凸塊表面瑕疵,而且的確比單獨使用BPN與SVM時所皆獲得較高

    的分類正確率,證實此方法之可行性。

    關鍵字:晶圓、金凸塊、表面瑕疵分類、類神經網路、支援向量機

    - - I

  • The Study of the Integration ANN and SVM in Gold Bump Surface Defect Classification

    Abstract

    This research proposes a new approach for the images classification of

    the defects on the surface of gold bumps to improve the disadvantages with

    human eyes. Because the information of the defect classification is the most

    direct and efficient way to identify the abnormal manufacture process, how

    to provide a more accurate classification method is very crucial to the

    improvement of yield rate, elimination of malfunctions and cost reduction.

    In order to improve the accuracy rate of classification, a new approach

    in this research is proposed to integrate two classified methods to find the

    different results and to correct the wrong results by calculating the expected

    weight. The approach not only improves the accuracy rate of classification

    but also identifies the cause of the defect in the manufacture process to

    prevent the same abnormal manufacture process and defects happening.

    Empirical results show that the proposed approach called IoBS, which

    integrates BPN and SVM can classify nine kinds of surface defects on

    bumps, and has higher accuracy rate of classification than BPN or SVM,

    and is efficient.

    Keywords:Wafer、Gold Bump、Surface Defect Classification、Neural

    Network、Support Vector Machine

    II

  • 誌 謝

    研究所的兩年時光轉眼間已快經過,回首這兩年的期間,最先要

    感謝我的指導教授孫培真博士,於這兩年中在研究上以及生活上的關

    心與指導,真的很感謝老師苦口婆心的叮嚀,您辛苦了。也很感謝賀

    立維博士在這兩年來的指導及專業上的傳授,讓我接觸到資訊教育外

    的影像處理這一塊專業領域,是個很特別也很值得的體驗。另外也感

    謝口試委員即本所的所長葉道明教授及高雄應用科技大學汪維揚教授

    在口試當天的指教以及對論文所提出的建議,使本論文能更加完整、

    完善。

    感謝班上同學陪伴渡過二年的研究所時光,尤其感謝親愛的室友

    怡菁在日常生活上的關心與照顧,還有班上幾位好朋友的陪伴與支

    持,另外要特別感謝Small學長對論文的關心與在論文寫作技巧上的指

    導,使我獲益良多,也使本論文更加充實。

    最後要感謝我親愛的父母及家人,對我的關心以及支持,尤其是

    大姊和二姊讓我無後顧之憂的專心在學業上。另外感謝一群從大學陪

    伴我到現在的好友,對我的鼓勵與支持,真的很感謝你們。

    在研究所在這兩年,認識很多來自四面八方的朋友,也很高興認

    識班上各種不同行業的同學,使我學習到不少人生經驗以及擁有難忘

    的回憶,這些都會一直珍藏在我心裡。

    謹將此論文獻給我親愛的家人以及所有關心我、幫助我的人。

    - - III

  • 目錄

    中文摘要…………………………………………………………………I

    英文摘要…………..……………………………………………………II

    誌謝……………………………………………………………………....III

    目錄……………………………………………………………………...IV

    圖目錄…………………………………………………………………...VI

    表目錄……………………………………………………………. VII

    第一章 緒論 .................................................................................................1

    第一節 研究背景與動機 .....................................................................1

    第二節 研究目的 .................................................................................4

    第三節 研究範圍與限制 .....................................................................6

    第四節 論文架構 .................................................................................7

    第二章 文獻探討 .........................................................................................9

    第一節 晶圓製造過程 .........................................................................9

    第二節 類神經網路(Artifical Neural Network, ANN) .....................12

    第三節 支援向量機(Support Vector Machines, SVM) ....................20

    第三章 研究方法 .......................................................................................27

    第一節 論文流程 ...............................................................................27

    第二節 研究步驟 ...............................................................................30

    第三節 研究工具 ...............................................................................39

    第四章 實驗過程與結果 ...........................................................................41

    第一節 瑕疵檢測 ...............................................................................41

    第二節 瑕疵分類 ...............................................................................51

    第三節 綜合方法(IoBS)分析比較 ....................................................60

    第四節 實驗發現 ...............................................................................69

    第五章 結論與未來方向 ...........................................................................73

    第一節 研究結論 ...............................................................................73

    第二節 未來研究方向 .......................................................................74

    IV

  • 文獻參考 .....................................................................................................75

    中文部分 .............................................................................................75

    英文部分 .............................................................................................76

    - - V

  • 圖目錄

    圖 1.1 晶圓檢測流程步驟 ...........................................................................3

    圖 2.1 晶圓處理製程 ...................................................................................9

    圖 2.2 晶圓切割步驟 .................................................................................11

    圖 2.3 類神經網路運作模型 .....................................................................14

    圖 2.4 BPN網路架構 ..................................................................................17

    圖 2.5 最佳化超平面 .................................................................................21

    圖 2.6 原始資料透過函數轉換到特徵空間 ...........................................22 圖 3.1 論文流程圖 .....................................................................................27

    圖 3.2 研究步驟圖 .....................................................................................30

    圖 3.3 直方圖 .............................................................................................32

    圖 3.4 類神經網路運作過程流程圖 .........................................................35

    圖 3.5 倒傳遞類神經網路學習過程流程圖 .............................................36

    圖 4.1 原始圖片與經色階轉換後之灰階圖片 .........................................41

    圖 4.2 Shading前與後影像亮度之差別 .....................................................42

    圖 4.3 二值化的過程 .................................................................................43

    圖 4.4 洞孔瑕疵的灰階變化情形-1..........................................................44

    圖 4.5 洞孔瑕疵的灰階變化情形-2..........................................................44

    圖 4.6 針扎瑕疵的灰階變化情形 .............................................................45

    圖 4.7 污染瑕疵的灰階變化情形-1..........................................................46

    圖 4.8 污染瑕疵的灰階變化情形-2..........................................................46

    圖 4.9 刮傷瑕疵的灰階變化情形 .............................................................47

    圖 4.10 銲墊部分 .......................................................................................49

    圖 4.11 沒有金凸塊的灰階變化情形 .......................................................50

    圖 4.12 金凸塊偏離的灰階變化情形 .......................................................50

    圖 4.13 金凸塊不完全的灰階變化情形 ...................................................50

    圖 4.14 倒傳遞網路參數設定 ...................................................................53

    圖 4.15 Matlab中BPN網路架構 .................................................................53

    圖 4.16 訓練樣本之收斂圖 .......................................................................54

    圖 4.17 C與g 參數不同對正確率的影響 .................................................57

    VI

  • 圖 4.18 python所產生之最佳C與g參數 ....................................................57

    圖 4.19 SVM測試樣本的分類辨識率 .......................................................58

    圖 4.20 三種分類器辨識結果之比較 .......................................................64

    圖 4.21 三種分類器之分類正確率比較 ...................................................64

    圖 4.22 經綜合判斷後BPN的誤判數 .......................................................68

    圖 4.23 經綜合判斷後SVM的誤判數 ......................................................68

    圖 4.24 IoBS綜合判斷後BPN與SVM誤判的結果 ...................................69

    圖 4.25 影像亮度不一致,會影響到gray level判斷的數值 ...................70

    圖 4.26 金凸塊偏離所擷取出來的瑕疵形狀易判斷成金凸塊不完全...70

    - - VII

  • VIII

    表目錄

    表 1.1 2006 年第一季我國IC產業產值統計與推估結果 ...........................1

    表 1.2 瑕疵類別與可能發生之製程 ...........................................................4

    表 1.3 本研究金凸塊表面瑕疵的種類與項目 ...........................................6

    表 2.1 歷年來類神經網路應用於半導體產業之相關文獻 .....................18

    表 2.2 One-against-all 處理N群資料分組 ................................................24

    表 2.3 One-against-one method處理N群資料分組....................................25

    表 2.4 SVM應用範圍..................................................................................26

    表 4.1 洞孔特徵簡介 .................................................................................43

    表 4.2 針扎特徵簡介 .................................................................................44

    表 4.3 污染特徵簡介 .................................................................................45

    表 4.4 刮傷特徵簡介 .................................................................................46

    表 4.5 金凸塊不完全、偏離,沒有金凸塊之特徵簡介 .........................47

    表 4.6 金凸塊瑕疵影像之樣本數 .............................................................51

    表 4.7 BPN測試樣本的分類結果 ..............................................................55

    表 4.8 BPN各類別的分類正確率統計 ......................................................55

    表 4.9 SVM測試樣本的分類結果 .............................................................58

    表 4.10 SVM各類別的分類正確率統計 ...................................................59

    表 4.11 IoBS的判斷結果 ............................................................................60

    表 4.12 IoBS各類別的分類正確率統計....................................................62

    表 4.13 BPN、SVM與 IoBS分類正確的筆數 .........................................63

    表 4.14 BPN及SVM、IoBS判斷正確筆數及分類正確率 .......................63

    表 4.15 IoBS裡判斷後有改善分類結果的樣本........................................65

    表 4.16 IoBS判斷後仍然錯誤的樣本........................................................67

  • 第一章 緒論

    第一章 緒論

    第一節 研究背景與動機

    台灣半導體產業的整合能力獨步全球,因此造就了半導體產業之

    發達,其中積體電路(Integrated Circuit)的產業更是佔據世界龍頭。IC

    產業的蓬勃發展,帶動了相關的 IC 設計、製造、封裝、測試等產業產

    值的提升(詳見表 1.1),尤其在近幾年,受到大陸及亞太地區晶片市場

    穩定的需求量,及來自手機、通訊的晶片封測需求大幅增加,封測業

    也更受矚目,根據 TSIA(Taiwan Semiconductor Industry Association)的

    預測,今年 2006 年台灣封測業營運仍延續 2005 走強的趨勢,甚至將

    一路旺到年底(TSIA2006 年第一季我國 IC 產業營運成果檢視,民 95)。

    表 1.1 2006 年第一季我國 IC 產業產值統計與推估結果

    單位:億新台幣

    2005

    Q1

    2005

    Q2

    2005

    Q3

    2005

    Q4

    2006

    Q1

    06Q1

    /05Q4

    06Q1

    /05Q1

    2006

    Q2(e) 2006(e)

    總體 IC產業產值 2,407 2,524 2,970 3,278 3,070 -6.3% 27.6% 3,145 12,962

    IC 設計業 575 647 780 848 728 -14.2% 26.6% 800 3,200

    IC 製造業 1,300 1,306 1,561 1,707 1,635 -4.2% 25.8% 1,617 6,710

    晶圓代工 802 828 980 1,125 1,055 -6.3% 31.5% 1,068 4,450

    IC 封裝業 379 410 458 533 490 -8.1% 29.3% 508 2,200

    國資封裝業 315 341 384 450 421 -6.4% 33.7% 431 1,864

    IC 測試業 153 161 171 190 217 14.2% 41.8% 220 852

    註: (e)表示預估值(estimate)。

    資料來源:TSIA 2006Q1 問卷調查,TSIA 新聞稿 95.05.29

    1

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    然而,IC 在進行封裝測試之前,必須再進行一次詳細且嚴密的檢

    測程序,以確保產品品質沒有任何瑕疵,才能將貨品進行封裝。而瑕

    疵檢測的步驟在此扮演著關鍵的角色,除了在檢測的過程中,需確保

    產品的品質穩定之外,檢測得到的結果可以將之進行分類,再依據瑕

    疵的類別,把發生瑕疵的製程階段找出,則可以改善良率,降低生產

    成本,是實務界所相當重視的問題。

    本研究的背景即是針對 IC 產品出貨至封裝廠之前,所進行最後一

    個階段的綜合檢測分類。檢測分類的對象是在 IC 產品裡,扮演著能否

    通電的重要關鍵項目:晶圓中每塊晶粒(Die)上的金凸塊(Bump)。目前

    市場上,整個 IC 產業帶動金凸塊的產能利用率達到八成以上,使得相

    關驅動 IC 封測廠商的營收有高度的成長,像是液晶顯示器(Liquid

    Crystal Display, LCD)的發展,連帶使得 LCD 驅動 IC 的封裝產業受到

    注目,而 LCD 驅動 IC 封裝程序中最上游也是最關鍵的技術便是金凸

    塊電鍍製程(王致誠、曾志遠,民 91)。金凸塊重要性在於它是晶圓上

    的金屬凸塊,而每個凸塊就是一個 IC 信號的接點,所以金凸塊一旦有

    瑕疵,將會造成系統無法通電,不能運作,而導致成本增加。金凸塊

    是近年封測產業中表現最為突出的族群,因此其瑕疵檢測分類相當重

    要也更加受到重視。

    目前的金凸塊瑕疵分類的動作仍然由作業員以人力目視的方法進

    行檢測,而此方式仍存在幾個缺點如下:

    (一)人力目視一天需檢查成千上萬的金凸塊,會對人眼造成負荷

    過重,容易產生眼睛疾病的問題。

    (二)在只能依賴人力檢測的情況下,人力成本是個重要的考量。

    (三)由於金凸塊瑕疵樣本體積小、種類繁多,作業員在需爭取時

    間達成每日工作量的情況下,不容易在短時間內分類清楚。

    (四)辨識的正確率容易因為人員疲累或長時間的目視而有所誤

    差,甚至有時會發生人為故意漏判的現象,很難避免。

    2

  • 第一章 緒論

    因此本研究試圖提出一種新的分類方法,取代人工目視分類的缺

    失,以提升分類正確率及效能。而晶圓檢測流程主要分為二個部分,

    如圖 1.1 所示。一為線上(online)檢測(inspection);二為離線(offline)的

    瑕疵分析(Defect Review System, DRS),此部分是本研究的重點。線上

    檢測的目的是在確定經過製造完成之 IC 是否合於使用。檢測項目主要

    有二:(一)外觀表面尺寸檢測、(二)電性特性檢測(林育德、黃建元、

    邱創勳,民 91)。透過這兩項檢測,可以即時辨識正常或瑕疵樣本,

    當判斷樣本無任何瑕疵時,即為良品,將送往下個作業流程。相對的,

    當樣本判斷出來有瑕疵時,則無法出貨,此時需將其瑕疵加以分類,

    以利後續分析作用。目前 inspection 方面已有機台輔助檢測,但後續

    的分類動作仍由傳統人工目視來進行,如前所述,此方式不僅造成人

    力成本過高,在長時間眼睛疲勞下所檢測出來的品質及分類的結果也

    會有不穩定的情況發生,對於追蹤整個瑕疵發生的程序將會有誤判現

    象,可靠度不是很高。

    圖 1.1 晶圓檢測流程步驟

    DRS(Defect Review System

    樣 本 線上

    Inspection

    通過

    Go 出貨 樣 本 樣 本

    (送往封裝廠) 樣 本 晶圓

    沒通過(有瑕疵)

    本研究重點

    3

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    第二節 研究目的

    承上研究背景所述,由於瑕疵分類資訊乃是最直接及有效反應異

    常製程發生之分析,因此如何提供愈精確的分類正確率方法,對於良

    率提升、故障排除和節省成本皆有莫大幫助。

    本研究根據廠商所提供的金凸塊瑕疵影像,試圖提出一種整合

    BPN(Back- Propagation Networks)與SVM(Support Vector Machine)的分

    類方法IoBS (Integration of BPN and SVM)來進行瑕疵影像分類。而晶圓

    瑕疵造成的原因一般主要可分成兩類,分別為系統性瑕疵(Systematic

    defect)及隨機性瑕疵(Random defect),前者包括刮傷(Scratch)、蝕刻

    (Etch)等,後者主要發生於隨機落在晶圓上之空氣中微粒(Particle)所造

    成(Badih, 1997),而隨機性及系統性瑕疵彼此間最大差異,系統性瑕疵

    多產生在製程中發生問題。在半導體製程中,許多階段或機台的故障

    都會造成瑕疵的發生,故根據瑕疵的產生追溯出其是由那一個製程階

    段所造成的(請參閱表1.2),即可進一步檢查其機器是否有不正常的情

    況發生,或是有無任何問題出現,並經過檢查及討論後,便可針對問

    題提出相關的解決方法加以改善,以防下一批產品在檢測時仍舊出現

    相同問題;因此,透過本研究方法不僅可以節省時間與成本,更可藉

    由瑕疵分類資訊達到提供生產管理改善製程。(Wang & Jiang,2001;

    Jiang et al.,1999; Jiang, Wang, & Wang,2001; Chou et al. ,1997)。

    表 1.2 瑕疵類別與可能發生之製程

    可能發生之製程 瑕疵類別 發生型態 IC 製程 測試製程 切割製程

    洞孔 系統性瑕疵 ◎ 外物污染 隨機性瑕疵 ◎ ◎ ◎

    圓形墨水污染 系統性瑕疵 ◎ 針扎 系統性瑕疵 ◎

    整片刮傷 系統性瑕疵 ◎ ◎ ◎

    4

  • 第一章 緒論

    表 1.2 瑕疵類別與可能發生之製程(續)

    可能發生之製程 瑕疵類別 發生型態 IC 製程 測試製程 切割製程

    長條狀刮傷 系統性瑕疵 ◎ ◎ 金凸塊不完全 系統性瑕疵 ◎ 沒有金凸塊 系統性瑕疵 ◎ 金凸塊偏離 系統性瑕疵 ◎ 金凸塊橋接 系統性瑕疵 ◎

    微粒 隨機性瑕疵 ◎ ◎ ◎

    (參考資料來源:陳丞璽,民 93)

    本研究為使分類效果達到最佳,且提升分類正確率至最高,因

    而提出一種透過期望權重的計算方法,整合了兩個分類器,使其能

    用來解決預期兩個分類器對同一筆資料辨識類別有差異的時候,尤

    其是當某一個分類器辨識正確,另一個卻辨識錯誤的情況。藉由這

    個方法可以修正可能被分類錯誤的情況,因而提高分類正確率。

    而本研究在分類器之選擇上,一個是以實務界應用最廣泛的類

    神經網路(Artifical Neural Network,ANN)當作分類的工具,因為類

    神經網路使用了大量簡單的相連人工神經元來模仿生物神經網路

    (Freeman, 1992),能處理非線性關係的運算,最常用來處理分類與

    辨識的問題,也因此廣泛被應用於圖形辨識的處理。另一個為近年

    來相當受重視的支援向量機。支援向量機具備參數較容易調整、開

    發快速、學習收斂速度比較快速等優點,在分類上的確有其成效。

    因此,根據期望權重值的概念,將BPN與SVM的分類結果重新加以

    計算、驗證,預期可以修正被辨識為錯誤分類的結果,以提升分類

    正確率,達到本研究的目的-解決實務上瑕疵分類、提高分類準確

    率。

    5

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    第三節 研究範圍與限制

    一般而言,常見的金凸塊瑕疵種類繁多,通常為:缺少金凸塊

    (Missing Bump)、不完整金凸塊(Incomplete Bump)、洞孔 (Void on

    Bump)、金凸塊變形(Deformed Bump)、金凸塊金瘤(Bump Nodule)、金

    凸塊橋接(Bump Bridge)、金凸塊刮傷(Bump Scratch)與金凸塊偏移

    (Bump Shift)‥等等。

    本研究金凸塊瑕疵影像來源為廠商所提供,然而受限於影像樣本

    代表性的問題,本研究只著重於金凸塊表面瑕疵影像分類,共有九種

    常見的金凸塊表面瑕疵種類如表1.3,包括:不規則污染、圓形污染、

    整片刮傷、長形刮傷、針扎、洞孔、金凸塊不完全、沒有金凸塊與金

    凸塊偏離,盼望藉由分析它們個別的特性,能夠將每種瑕疵清楚分類,

    並利用所得之特徵值,透過BPN及SVM之計算,進行比對分析,從而

    判定其歸屬類別。

    表 1.3 本研究金凸塊表面瑕疵的種類與項目

    不規則污染 (Bump contamination)

    圓形污染 整片刮傷

    長形刮傷 (Scratch on bump)

    針扎 (Probing mark)

    洞孔 (Void on bump)

    金凸塊不完全 (Incomplete bump )

    沒有金凸塊 (Missing bump )

    金凸塊偏離 (Bump misalignment)

    6

  • 第一章 緒論

    從上述了解本研究的研究範圍之後,在此針對這九種金凸塊表面瑕

    疵的定義扼要說明如下:

    不規則污染:在金凸塊區產生污染變色的情形。 圓形污染:為針測過後,墨水打印殘留下之污染。 整片刮傷:可能機器異常或不正常程序而造成金凸塊發生

    整片刮傷的情況。

    長形刮傷:為針測時,不小心因位置偏離所造成的條狀刮傷。

    洞孔:為製程中不當的程序所造成的現象。 針扎:為測試金凸塊是否可以通過電性測試,需用針扎測

    量,有時會因太用力而留下針痕。

    金凸塊不完全:金凸塊在出廠時即因製造不良而呈現非完整形狀。因為人為或機器故障的關係,而造成金凸塊本身

    缺一角或一塊的現象,為金凸塊不完全。

    沒有金凸塊:在金凸塊植入時被遺漏的情形,或是運送過程中導致金凸塊掉落的現象。

    金凸塊偏離:金凸塊植入時因位置偏差所造成的瑕疵情況。金凸塊偏離了原本的銲墊的情況。

    第四節 論文架構

    本論文研究主要分成五大部分,分別是緒論、文獻探討、研究方

    法、實驗過程與結果,最後是結論與未來研究方向。

    壹、緒論 說明研究背景與動機、研究目的、研究範圍與限制及論文架構。

    貳、文獻探討 介紹半導體的晶圓製造過程、類神經網路及支援向量機的文獻探

    討。

    7

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    8

    參、研究方法 介紹本研究中所使用的研究方法,並說明整個瑕疵辨識分類的流

    程。

    肆、實驗過程與結果 使用所提出的新方法將測試樣本再進行一次分類,再與類神經網

    路與支援向量機的分類結果及辨識率,之後比較三種分類結果及效能。

    伍、結論與未來研究方向 提出本研究的總結、敘述分析的結果與建議,並就目前研究所遇

    到的問題,提出後續研究方向。

  • 第二章 文獻探討

    第二章 文獻探討

    第一節 晶圓製造過程

    半導體元件製造過程相當嚴密且複雜,製造流程可細分為好幾百

    道,本研究在此只針對幾項重要的製造流程如圖 2.1 加以簡介說明。

    其大概可分為晶圓處理製程 (Wafer Fabrication;簡稱 Wafer Fab)、

    晶圓檢測製程(Wafer Inspection)、封裝(Packaging)、最終測試製

    程(Final Test)等幾個步驟。一般稱晶圓處理製程與晶圓針測製程為

    前段製程,而封裝、最終測試製程為後段製程。本研究所針對的研究

    對象為封裝前晶圓分割後的金凸塊表面瑕疵檢測,因此介紹也將著重

    於此部分。

    封裝 Bump

    空白晶片

    製造

    檢測

    最終測試

    成品

    薄膜

    蝕刻

    黃光

    擴散

    WAT

    CP

    切割 Wafer

    Die

    前段製程

    後段製程

    封裝 Bump

    空白晶片

    製造

    檢測

    最終測試

    成品

    薄膜

    蝕刻

    黃光

    擴散

    WAT

    CP

    切割 Wafer

    Die

    前段製程

    後段製程

    圖 2.1 晶圓處理製程

    (資料來源:黃安橦,民 94)

    9

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    壹、晶圓製造過程(Wafer Fabrication)

    晶圓製程由最原始的一片空白晶圓(即矽晶圓)開始予以加工處

    理,晶圓處理製程之主要工作是在晶圓上製作與佈上電晶體、電容體、

    邏輯閘等電路與電子元件,其基本處理步驟通常是將晶圓經過適當的

    清洗之後,再進行氧化及沈積,最後進行薄膜(T/F)、黃光(Photo)、蝕

    刻(Etch)及擴散(Diffusion)等反覆步驟,以完成晶圓上電路的加工與製

    作。

    貳、晶圓檢測製程(Wafer Inspection)

    在此過程中包含兩種性質不同的測試:一為晶片允收測試(Wafer

    Accept Test,WAT),這一部分乃在 IC 離開晶圓代工廠前針對主要之

    IC 製程電性參數控制所進行的檢驗,包括溫度、壓力、電流等,是晶

    圓製造完成的第一道關卡,其著重於電性參數設定方面,對於其它隨

    機性瑕疵的出現則無法掌控,因此通過此項測試並不保證產品功能完

    全正常(林瑞山,民 93) 。

    另外一個則是晶圓針測(Wafer Probe),即是對晶片上的每顆晶粒

    (Die)進行針測,在檢測頭裝上以金線製成細如毛髮之探針,與晶粒上

    的接點接觸,測試其電路的電性,進而判斷出晶粒的通電性合格與否。

    不合格的晶粒會被標上記號,而後當晶片依晶粒為單位切割成獨立的

    晶粒時,為了節省成本,標有記號的不合格晶粒將會被淘汰,而無法

    再進行下一個製程。

    參、切割(Die Saw)

    雖然圖 2.1 裡並未把此步驟當成一個正式的流程,但為了清楚說

    明本研究的對象,因此特別再把切割這一塊獨立出來簡介。

    晶圓在經過製造及檢測的製程處理後,仍為整片晶圓,需要再將

    其切割成一顆顆的晶粒(Die)。切割製程即是運用鑽石刀在晶圓的切割

    道上進行切割,將一顆顆的晶粒分割出來 (陳丞爾,民 93)。而晶粒上

    又有許多的元件,像是電路、金凸塊‥等等。本研究即是針對晶粒上

    10

  • 第二章 文獻探討

    的金凸塊進行瑕疵分類,請參考圖 2.2。

    完整的晶圓(Wafer)

    Wafer(晶圓)

    經過鑽石刀切割後,會形成許多 Die

    Die(晶粒)

    在 Die 上面有許多元件:線路、金凸塊‥等等,本研究

    針對的瑕疵分類部分即為金凸塊。

    Bump

    (金凸塊)

    圖 2.2 晶圓切割步驟

    11

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    肆、封裝(Packaging)

    此步驟為製程處理的最後一道手續,通常還包含了打線的過程,

    以金線連接晶片與導線架的線路,再封裝絕緣的塑膠或陶瓷外殼,並

    測試 IC 功能是否正常。

    伍、最終測試(Final Test)

    最終測試亦為一種電性功能測試(Functional Test),與晶圓針測之

    不同在於,兩者之目的分別在驗證 IC 於封裝前與封裝後其電性功能是

    否能符合原先產品設計與顧客應用之規格範圍。待通過了最終測試階

    段,整個晶圓製程步驟才完整,若沒問題方可出貨。

    第二節 類神經網路(Artifical Neural Network, ANN)

    壹、類神經網路簡介

    類神經網路具有快速的平行處理能力、高度的容錯力、有效率的

    學習及調適能力等等(Su et al., 2002),因此在近二、三十年來大量被運

    用在各式各樣的領域上,如工業、商業、科學、管理學、資訊…等。

    類神經網路的發展最早是在 1942 年,由學者 McCulloch 和 Pitts 所提

    出,其起源來自人類神經生理學,主要用意在模仿人類神經的運作模

    式,試圖運用神經元模型來建立具有人腦相同能力,像是學習、記憶、

    辨別等,但早期碰到 XOR 的問題無法解決,因此沉默了一段黑暗期,

    一直到 1985 年,由 Rumellhart 和 McCLlelland 提出了多層類神經網路

    BP(Back-Propagation)的演算法,解決了 XOR 的問題後,才算真正開

    啟了類神經應用的研究大門。

    貳、類神經網路基本架構

    類神經網路是利用大量的神經元來模擬人腦的基本單元,其網路

    建構的目標在於映射輸入與輸出之間關係的數學。

    一個類神經網路是由多個人工神經元與其連結所組合而成,而且

    12

  • 第二章 文獻探討

    可組成各種不同的網路模式。構成類神經網路的基本單元為人工神經

    元或稱處理單元,再由處理單元組成層(layer),最後由層組成網路

    (network)。

    類神經網路的基本架構可分三個層次(葉怡成,民 84):

    一、處理單元(Processing Element, PE)

    處理單元為類神經網路組成的基本單位,處理單元的作用可用三

    個函數來說明:集成函數、作用函數、轉換函數來說明。

    (一).集成函數(summation function): 將其它處理單元之輸出,透

    過網路連結傳來的訊息加以綜合。

    (二).活化函數(activity function): 將集成函數值與處理單元目前

    的狀態加以綜合。一般使用之活化函數直接採用集成函數輸出。

    (三).轉換函數(transfer function):將活化函數輸出值轉換成處理單

    元的輸出。

    二、層(Layer)

    層的作用在於將同一層處理單元的原始輸出值加以正規化成單位

    向量後再輸出。將相同功能的處理單元予以聚類。

    三、網路(Network)

    集合不同功能的層形成網路。

    類神經網路的運作可以利用系統輸入與輸出所組成的資料,建立

    系統模型,其模型可以表示整個類神經的運作流程如圖 2.3,從輸入到

    輸出之間的關係,其解釋及說明顯示如下:

    13

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    W1

    W3

    W4

    ( ) Y

    b

    W2

    圖 2.3 類神經網路運作模型

    X1…4:稱為神經元的輸入(input)

    Y:稱之為輸出(output),亦即我們所需要的結果。

    W:稱為權重值(weights)

    b:稱為閥值(bias),有偏移的效果

    S:稱為加法單元(summation),此部分是將每一個輸入與權重

    值相乘後做一加總的動作。

    φ( ):稱之為活化函數(activation function),通常是非線性函數,

    有數種不同的型式,其目的是將 S 的值做映射得到所需要的輸出。

    整個類神經網路運算的過程先是輸入一些資料,再透過加法單元

    將輸入與權重值調整完成的值進行相乘,之後再進行加總的動作,最

    後是運用活化函數將加法單元的值做一個對映的輸出。整個關鍵在於

    權重值的調整過程。

    類神經網路的運作過程分為二個階段:一為學習過程

    (Learning),指的是在學習過程中,依學習演算法,並參考訓練範

    例,經反覆不斷地的運算學習,以調整網路連結的權重值。二為回想

    過程(Recalling),在回想過程中,網路接受外來輸入,並依回想演

    14

  • 第二章 文獻探討

    算法,經反覆運算後,由輸出層神經元將結果送出。

    在類神經網路能確實的運作之前,必須建立一些訓練樣本餵予其

    學習,此階段稱為「訓練過程」(training)。目的在於讓類神經網路參

    考這些訓練樣本(training pattern),以反覆地模擬學習,直到對於每個

    輸入都能正確對應到所需要的輸出(張柏年,民 92),即讓類神經網路

    的輸出值愈接近目標值。而訓練樣本是否具有代表性會影響類神經網

    路輸出的正確性。

    當類神經網路經由訓練樣本訓練完畢之後,其輸出值已接近目標

    值,但對於那些並非訓練樣本的資料,便無法得知會得到什麼輸出結

    果。因此需要使用另一組類神經網路從未見過的樣本以供其參考預

    測,這些樣本即為測試樣本(testing pattern),使用它們可求得類神經網

    路的推廣性(generalization)能力,看最後輸出值是否能夠接近理想值。

    參、類神經網路之學習模式

    類神經網路的種類眾多,一般可依學習的模式將網路分為監督式

    學習、非監督式學習 (Judith, 1990;Simon, 1994) 與聯想式學習網路

    等三大類:

    一、監督式學習網路(Supervised Learning Network)

    此類網路於模式建構時,使用者必須從研究之問題領域中提供訓

    練範例給類神經網路,包含輸入資料與輸出資料,藉由從中學習輸入

    資料與輸出資料的內在對映規則。整個學習過程是以不斷修正神經網

    路中的權值(Weight),直到誤差小於一定的臨界值或權重值不再改變

    為止才會停止訓練。

    此類主要的網路模式包含有:倒傳遞、機率神經網路 學習向量量

    化網路與倒傳遞網路等。

    二、非監督式學習網路(Unsupervised Learning Network)

    而非監督式的學習網路只需從問題領域中取得輸入變數值,即輸

    15

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    入的資料、無須像監督式網路般需要提供輸入及輸出資料做為網路訓

    練之用,即可應用於新的案例。

    此類主要的網路模式包含有:自組織映射圖(SOM)、自適應共振

    理論(ART)

    三、聯想式學習網路(Associate Learning Network)

    從所定義的問題領域中抽取訓練範例 (狀態變數值),並從過程中

    學習這些訓練範例的內在運作規則,以便應用於新的範例 (只有不完

    整的狀態變數值,而需推論其完整的狀態變數值的應用)。

    此類主要的網路模式包含有:霍普菲爾網路(HNN)

    在眾多的網路學習模式中,倒傳遞類神經網路因為具有學習準確

    度高、回想速度快及高度非線性映射的能力等優點,因此常被應用在

    預測和分類的問題上(Vellido et al., 1999)。在本研究即是利用倒傳遞類

    神經網路的這些優點,試圖來進行金凸塊表面瑕疵影像分類。

    肆、BPN 倒傳遞神經網路(Back- Propagation Networks, BPN)

    倒傳遞類神經網路是目前類神經網路學習模式中最具代表性,應

    用實務最廣泛的模式。其基本的原理是採用最陡坡降法(The gradient

    steepest descent method)的觀念,將輸入值與輸出值整間的差距,經由

    誤差函數算出誤差值後,再利用最陡坡降法予以最小化,即每輸入一

    個訓練範例,網路便小幅度地調整權重值的大小,以降低誤差值。另

    外亦可利用學習速率來控制最陡坡降法最小誤差函數的幅度。

    伍、倒傳遞類神經網路的架構

    倒傳遞類神經網路的架構包含輸入層、隱藏層與輸出層三層網路

    架構,如下圖 2.4 所示。基本神經網路架構有三層,分別為輸入層(Input

    Layer)、隱藏層(Hidden Layer)和輸出層(Output Layer) ,其中輸入層是

    將外界的資訊輸入到網路,隱藏層的存在提供類神經網路表現處理單

    元間的交互作用,與問題的內在結構的能力,也因此使用者看不到整

    16

  • 第二章 文獻探討

    個資料處理過成,故稱為隱藏層。而輸出層則將處理的結果傳送出去。

    隱藏層和輸入層之間會存在一個權重值 W,網路的權重值是根據

    誤差值來進行修正,藉由權重值的修正來使得網路的推論輸出值更接

    近於目標輸出值,即以目標輸出值減去推論輸出值得到誤差訊號,以

    調整權值至最佳狀態,直至網路收斂為止。

    輸入層 隱藏層 輸出層

    輸入層 隱藏層 輸出層

    WeightWeight

    圖 2.4 BPN 網路架構

    陸、類神經網路應用

    類神經網路發展至今也進入成熟期,因此早已被廣泛使用於各式

    各樣的領域,然而各種的應用需視不同問題特性而搭配不同的網路模

    式,以凸顯網路之效果。本研究在類神經網路的應用方面,著重探討

    於晶圓檢測部分,其大量應用討論如下:

    在良率辨識方面,李靜宜研究以卜瓦松良率為基礎,利用倒傳遞

    類神經網路及群聚指標,建構一個新的晶圓良率預測模式,可考慮到

    缺陷點群聚的問題,能正確預測出晶圓的真實良率(李靜宜,民 91);

    林瑞山以晶圓允收測試(wafer acceptance test)資料為基礎,藉由類神經

    倒傳遞網路的優點來發展預測晶圓測試(wafer test)良率的方法,並將

    之與傳統回歸分析方法比較,證實類神經倒傳遞網路所建構之良率預

    17

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    測模式之精確度(林瑞山,民 93)。

    在晶圓瑕疵辨識方面,Chen 提出應用適應共振理論(ART1)網路

    來辨識晶圓上的缺陷項目,運用晶片上缺陷分佈的空間圖型來判別其

    缺陷造成原因來自機台或製程,可以輔助診斷缺陷發生的原因(Chen,et

    al.2000)。Su 應用遮罩(mask)概念,利用類神經網路的訓練方式,提出

    一套完整且涵蓋整個晶粒表面缺陷辨識的方法(Su et al., 2002)。陳丞璽

    應用三種類神經網路(BP、RBF、LVQ)來辨識晶粒表面上的銲墊是否

    有變色的缺陷存在,並依銲墊變色嚴重程度加以分級(陳丞璽,民 92)。

    Huang 針對晶圓針測(circuit probe)後的晶片所存在的表面刮傷、污染

    等局部缺陷圖案,進行分群(clustering),並以中值濾波(median filter)、

    雷登轉換(radon transform)及類神經網路中的 SOM 來做分群比較,實

    驗結果以 SOM 的辨識率最高,但速度較慢(Huang, 2002)。Zoroof 針

    對晶圓表面的污染辨識,提出類神經網路、最小距離演算法(minimum

    distance algorithm)及最大相似度分類(maximum likelihood classifier)此

    三種方法來加以比較,並配合不同取像條件加以辨識其效果,結果證

    實類神經是最適合運用在晶圓表面污染自動檢測的技術(Zoroofi,et al.,

    2000)。相關文獻整理如下表 2.1:

    表 2.1 歷年來類神經網路應用於半導體產業之相關文獻

    作者 應用方向 使用技術

    Chen Fei-Long

    and Liu

    Shu-Fan(2000)

    提出應用適應共振理論

    (ART1)網路來辨識晶圓

    上的缺陷項目,藉以輔

    助診斷缺陷發生的原因

    ART1, SOM ,Neural-Net

    Work

    Zoroofi, et

    al.(2000)

    晶圓表面污染辨識 類神經網路、最小距離演

    算法(Minimum Distance

    Algorithm)、最大相似度

    分類(Maximum

    Likelihood Classifier)

    18

  • 第二章 文獻探討

    表 2.1 :歷年來類神經網路應用於半導體產業之相關文獻(續)

    作者 應用方向 使用技術

    Huang(2002) 晶圓針測後的晶片,仍

    存在一些非測試機可以

    測出的表面缺陷,ex:

    表面刮傷、污染等

    中值濾波(Median

    Filter)、雷登轉換(Radon

    Transform)及類神經網路

    中的 SOM

    Su Chao-Ton,

    Taho Yang,

    and Chir-Mour

    Ke

    (2002)

    辨識晶圓切割成晶粒

    後,是否因晶粒的表面

    缺陷,造成不良

    Backpropagation(BP),

    Radial Basis Function

    network(RBF),

    and Learning Vector

    Quantization(LVQ)

    陳丞璽(2003) 辨識晶粒表面上的銲墊

    是否有變色的缺陷存

    在,並依銲墊變色嚴重

    程度加以分級

    BP、RBF、LVQ

    李靜宜(2003) 利用倒傳遞類神經網路

    及群聚指標,建構一個

    新的晶圓良率預測模式

    倒傳遞類神經網路

    林瑞山(2004) 以晶圓允收測試(wafer

    acceptance test)資料為

    基礎,藉由類神經倒傳

    遞網路的優點來發展預

    測晶圓測試良率的方法

    倒傳遞類神經網路

    19

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    從文獻回顧中可發現,類神經網路被運用於晶圓缺陷檢測的相關

    研究是近年來的趨勢,且經研究證實在辨識效果及正確度上皆有不錯

    的成果。然而類神經網路種類繁多,故需挑選適合研究題目的類神經

    網路特性加以搭配,才能發揮最大成效。本研究即是應用倒傳遞類神

    經網(back-propagation)準確度高的特性,再加上可以處理複雜的樣本

    辨識問題和非線性函數的適配問題,因此用來當做瑕疵分類其中的一

    分個類器,另外再應用支援向量機當成另一個分類器進行其效能比

    較,而支援向量機之定義將於下一節進行說明。

    第三節 支援向量機(Support Vector Machines, SVM)

    壹、支援向量機簡介

    支援向量機 SVM 全名為 Support Vector Machines,在 1995 由

    Vapnik 所提出(Aas & Eikvil, 1999; Siolas & d’Alché, 1998)。主要由

    統計學習理論的風險最小化原則(Structure Risk Minimization Principle)

    所衍生出來的機器學習方法。目前成為機器學習與資料探勘的標準工

    具之一(Nelloa & Shave, 2000)。它和倒傳遞類神經網路皆是屬於監督

    式學習法(Burges, 1998;Cristianini & Shawe-Taylor, 2000)。

    SVM 主要可以用來進行迴歸分析與分類的問題,由於本研究只應

    用於分類方面,因此只針對分類問題進行討論。SVM 不同於傳統分類

    方法的最大特色,在於其具有小樣本學習的特性。亦即不需輸入全部

    的資料樣本,只要輸入少數有用的資料,便可以被導入運算學習,而

    且這些資料所分類出來的結果,會和輸入全部資料計算後所得的結果

    相同(王嘉慶,民 94)。

    支援向量機在處理不同的問題時又可分為線性支援向量機(Linear

    SVM)與非線性支援向量機(Nonlinear SVM),兩種不同的模式(C. J. C.,

    1998; Scholkopf et al., 1999),以下將分別簡介之:

    20

  • 第二章 文獻探討

    貳、線性支援向量機(Linear SVM)

    SVM 藉由尋求一個線性的超平面(Hyperplane)來區別整個樣本空

    間,並將空間中的樣本群分為 true 或 false 兩類資料群。

    一般而言,落在區分超平面的所有的 x 必須滿足 w. x+b= 0 此公

    式,其中 w 為超平面之法向量(NormalVector),b 則是偏移量,而 f (x)

    =w.x+b 即稱為決定函數(DecisionFunction)。此決定函數的作用在於,

    當輸入一筆測試資料時,便可以依據決定函數所計算出來的值來進行

    分類的動作。即若此函數算出來為 f(x) >0,則將該筆資料歸類為 true,

    若 f(x)

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    至此,此支援向量機已具備解決分類問題的能力,然而只能針對

    線性分佈的兩群組進行分類,若欲將此一理論推向更一般化的非線性

    分類問題,以分開非線性分佈的兩群組,則尚需一個工具,方才可以

    大功告成。在這個主題上,藉由將資料映射到更高維度的空間中,非

    線性的資料將因而被轉換成為可分別的線性資料。說明簡介如下:

    參、非線性支援向量機(Nonlinear SVM)

    線性支援向量機即是利用線性超平面將資料進行分類,然而真實

    世界中的所有問題,並非使用線性超平面就可全部解決,因此只要當

    遇到非線性的問題時,便無法在資料空間中分割資料群。此時可以根

    據(Aizerman、Boser & Vapnik, 1992)所提出的解決方式,針對非線性

    函數的問題,藉由核心函數的幫助,將原始資料對映到高維度的特徵

    空間(feature space)後,再來進行線性分類,如圖 2.6 所示。其特殊性

    質能保證有較好的推衍能力,同時它巧妙地解決了維度問題,其演算

    法複雜度與樣本維度無關。

    原始資料空間 高維度特徵空間

    圖 2.6 原始資料透過函數轉換到特徵空間

    在 SVM 方法中,只要定義不同的核心函數,便可實現多種學習

    演算法。常用的核心函數有線性(Linear)、多項式(Polynomial)、放射

    (Radidal Basis Function;RBF)和 S 型(Sigmoid)等 4 種(S.R. Gunn,

    1998)。每個核心函數都有不同的參數,使用者可以依據不同的問題選

    22

  • 第二章 文獻探討

    擇核心函數調整或根據(Kohavi, 1995;Efron & Tibshirani, 1995) 中提

    到 Holdout、Cross-Validation 和 Bootstrap 三個正確率的評估方法,用

    以選擇最適當的模型。在本研究中只會使用第二個方法來評估支援向

    量機之正確率,因此將簡單介紹 Cross-Validation 如下:

    Cross-Validation Method

    支援向量機原始的設計是用來區分兩類別的分類問題,不過隨著

    資料量愈來愈大,問題本身的複雜度也不斷提升,因此有不少學者針

    對多類支援向量機 ;MCSVM )提

    出 相

    d

    ( Multi-Class Support Vector Machine

    關 研 究 , 主 要 的 概 念 是 利 用 Cross-Validation Method 。

    n-fold-cross-validation 即是指將資料分成大小相等的 n 個部分,例如

    將資料 Data 分成 k 個部分,則每一部分便為:data/k,而且這 k 群資

    料彼此之間互斥。使用此方法時,必須重覆 n 次訓練和測試的階段,

    每次先以部分資料視為測式資料,剩下的資料即為訓練資料,用以驗

    證此正確率。等到重覆了 n 次之後,再將 n 次的正確率平均計算,以

    求得此模型的最終正確率。目前支持此類的方法有 one-against-all

    method、one-against-one method 兩種。

    一、One-against-all metho

    此方法是 1994 由 Bottou 等人所提出的(Hsu & Lin, 2002),主要應

    用在解決多類別的問題。其將所需解決的 N 類別問題分解成 N 個二類

    別分類問題(ture 或 false)來處理,所以在整個訓練的過程當中,必須

    訓練 N 個分類器。其中當在訓練某個分類器的時候,便以這個類別的

    資料群視為 true class,其了本身以外,其它的類別資料群(N 減掉正在

    練訓的這個類別)則為 false class,依照這樣以完成 N 個分類器的訓

    練,如表 2.2 所示。在測試過程中,每筆測試資料依序分別進入所訓

    練完的 N 個分類器測試,比較各分類器所得的輸出值而獲得分類的結

    果。

    23

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    表 2.2 One-against-all 處理 N 群資料分組

    群別 標註為 TRUE 之類別 標註為 FALSE之類別

    第 1 1 2,3,4,5 群

    第 2 群 2 1,3,4,5

    第 群 3 , , ,3 1 2 4 5

    第 4 群 4 1,2,3,5

    第 5 群 5 1,2,3,4

    …….

    第 N 群

    …. ….

    …..N-1 N 1…

    這個方法的概念是利用每一筆測試資料分別進入各分類器所得的

    輸出值大小,決定每一筆測試資料屬於各分類器 true class 的機率

    (Richard & Lippmann,1991),所以選 輸出值最大的分 class

    所代表的類別為各測試資料最後的分類結果(包鎰華, 92)

    二、One-against-one method

    此方法在 1990 年由 Knerr 等人所提出,主要是將 N 個類別分類

    問解成 N(N-1)/2 個組合的二類別分類問題來處理。此方法被證實在處

    理大量資料時,訓練階段較有效率,即訓練時間更短 & Lin,

    2002)。在整個訓練過程中,會從 N 個類別中隨意任選取二個類別為

    一組合不重覆,則共會有 N(N-1)/2 種組合,如表 2.3 所示。再按照這

    每組二類別的資料去進行各別二類別分類問題的訓練過程。最後在測

    試的階段時,則是運用每筆測試資料的特色,對應到各種二類別組合

    的資料內,進行分類的結果。最後再統計各類別組合的分類結果票數,

    機率最大的即為最後的分類結果。

    擇 類器其 true

    民 。

    (Hsu

    24

  • 第二章 文獻探討

    表 2.3 One-against-one method 處理 N 群資料分組

    類別 標註為 TRUE 之類別 標註為 FALSE之類別

    1 V.S. 2 1 2

    1 V.S. 3 1 3

    1 V.S. 4 1 4

    2 V.S. 3 2 3

    2 V.S. 4 2 4

    3 V.S. 4 3 4

    肆、支援向量機應用

    SVM 已被證實比傳統 machines learning 有更好的效果,而相關

    文獻(Dumais, 1998; Dumais & H. Chen, 2000; Joachim 的文

    獻結論表 優於目前的統計學分類方法(如 kNN,NB 等)。且

    在分類問題(Burges, 1998)與迴歸問題(Smola & Scholkopf, 1998 )上,被

    當作是有利的工具。

    例如在迴歸估計(regression estimation)方面,SVM 對於以下幾個

    應用,如 . Miller et

    al, 1997; Miller et al, 1998)、財務預測( Tay & Cao, 2001; Cao et al.,

    2003)與 using 問題(Drucker et al., 1997)以及國際旅遊需求之

    (陳寬裕、何嘉惠、蕭宏誠,民 92)‥等等,都被認為很有幫助。

    在分類議題上,如:數位手寫辨識(Cortes & Vapnik, 1995 )、語者

    礎分類器(knowledge-based classifier)( Fung,

    Mangasarian, & Shavlik, 2002) egorization)( Crammer

    & Singer, 2002 Joachim

    s, 1998)

    示 SVM

    解決標準時間序列的資料(S. Mukherjee et al, 1997 ;

    Bostonho

    預測

    確認、人臉辨識、知識基

    、文件分類(text cat

    ; s, 2001;Daphne Koller, 2001)、生物資訊

    25

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    26

    廣泛應用,本研究整理了其應用範圍如下表2.4

    供參考,也運用SVM

    2.4 SVM 應用範圍

    (Bioinformatics)( Vert, 2002;Brown et al., 1999)、影像辨識(image

    recognition)( Pontil & Verri, 1998)‥等等方面,都是SVM的應用範疇。

    鑑於SVM在這十年來被

    優秀的分類能力,將之應用於本研究中。

    SVM 作用: 應用範圍:

    時間序列

    財務預測

    Bostonhousing 問題

    迴歸估計

    (regression

    estimation)

    國際旅遊需求之預測

    手寫辨識

    文件分類

    生物資料

    影像辨識

    分類

    (classification)

    知識基礎分類器

  • 第三章 研究方法

    第三章 方法

    本章在探討如何以影像處理的流程將金凸塊表面瑕疵影像進行一

    系統完整的檢測及分類,並將 處理之步驟與所採用

    之方法。本章各節之內容為:(一)論文流程;(二)研究步驟;(三)研究

    工具。分別敘述如下:

    第一節 論文流程

    圖 3.1 論文流程圖

    研究

    詳細介紹整個影像

    研究方法與設計

    瑕疵檢測及分類

    綜合分析比較

    結論與未來研究

    支援向量機分類 類神經網路分類

    以倒傳遞網路建立模式 以多分類方法建立模式

    文獻探討

    兩分類器比較

    研究動機與目的

    27

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    本論文的流程共分為六個階段,如圖 3.1 所示,以下概述各階段

    的研究流程內容。

    壹、確立研究動機與目的 本研究是基於產學合作的概念而產生之研究論文,在這期間透過

    與兩位指導教授的互動討論後,以解決實務瑕疵影像分類為基礎,佐

    以運用期望權重值新的概念,以提升瑕疵分類正確率。

    貳、文獻探討 欲著手本研究,得先從了解晶圓製程開始,因此文獻蒐集的第一

    步驟便是了解晶圓完整的製造流程,從中了解本研究所欲解決的瑕疵

    檢測分類問題的階段流程,並認知瑕疵檢測分析在整個製程中所扮演

    的重要角色。接下來再參考國內外相關期刊及論文等文獻,了解類神

    經網路及支援向量機的理論基礎及運作模式,並研究是否可應用在本

    研究問題之特性。

    參、研究方法與設計 根據前面文獻彙整與探討的結果,提出本研究方法的主要研究概

    念與研究架構。除了瑕疵檢測的影像處理過程,檢測之後的瑕疵分類

    更是本研究的重點。

    肆、分類過程 一、類神經網路

    類神經網路包含許多學習模型及參數調整,本研究選擇使用倒傳

    遞類神經網路,並根據研究特性選擇適當的參數,詳細資料將在實驗

    過程做介紹。

    二、支援向量機

    支援向量機最近十年來發展快速的分類器,其分類效果比起傳統

    的統計方式或機器學習也更受人肯定。因此本研究除了使用類神經網

    路之外,還運用了支援向量機來進行瑕疵分類,之後再進行分析與比

    較。

    28

  • 第三章 研究方法

    之後再根據期望權重值的概念,將 的分類結果重新加

    以計算、驗證,預期可以修正被辨識

    正確率。

    加上期望權重值之後的 IoBS 方法,其各自的

    分類正確率為何,並分析本研究所提出的 IoBS 方法是否真正可以提

    升分類正確率。

    、結論與未來方向 在此階段裡將根據實驗過程與實驗結果,提出本研究的研究發現

    與討論、理論上與實務上的含意,並且說明未來研究方向的建議以及

    結論。

    BPN與SVM

    為錯誤分類的結果,以提升分類

    伍、綜合分析比較 比較 BPN、SVM 與

    29

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    第二節 研究步驟

    影像旋轉校正

    Bump 影像輸入 影像

    輸入 Step 1

    影像

    前置 處理

    影像切割

    影像亮度調整

    瑕疵影像增強

    Step 2

    Step 3

    瑕疵 二值化

    影像殘值處理 影像 分離

    圖 3.2 研究步驟圖

    特徵

    值 擷取

    Gray levels Geometry Step 4

    瑕疵

    類神經網路

    支援向量機

    IoBS

    Step 5 分類

    效能

    分析

    比較

    比較三種分類器

    的效果,並綜合

    判斷最後結果

    Step 6

    30

  • 第三章 研究方法

    壹、

    原始圖片由廠商提供,為求其將之轉為規格 8 位元、256 灰階之

    影像,即 0 到 255 的 gray level 值,其中 0 代表黑色而 255 代表白色,

    依此類推每一個數字的明暗程度。

    疵影像增強‥等,使瑕疵影像更清楚及明顯,以便

    進行瑕疵特徵值擷取之觀察。

    選定一個臨界值,使該像素的灰階值大於或小於此臨界值。

    當此像素灰階值大於臨界值時,就將該像素設為 1,通常以白色表示,

    反之,若小於時,則設為 0,通常以黑色表示。因此在經過二值化之

    後,整張影像只有白色和黑色出現。

    在經過二值化的動作後,雖然能將瑕疵物與背景分離開,但因二

    值化的閥值難以調整到精確的數字,因此二值化後,影像仍會殘留一

    些殘值,此時再使用影像殘值處理的動作將之過濾之後,便會得到乾

    淨的瑕疵物與背景分離的畫面。

    肆、特徵值擷取

    如何根據影像的基本特性加以分析其形狀或紋路等特徵以找出最

    能突顯其特色之資訊,進而擷取其有效之特徵值,並利用所得之特徵

    值,透過各種統計方法、演算法、分類法之計算,進行比對分析,從

    而判定其歸屬,是本研究所感興趣的。

    因此本研究試圖針對幾何特徵及 gray levels 兩大特徵函數來進行

    此九種瑕疵的判斷工作。常用的幾何特徵集合裡面有面積、周長、半

    徑、長短等等,可以用來表示任何物體的形狀特徵。而 Schmitt 曾成

    功使用灰階形態學(Gray-scale morphology)來檢測金屬加工表面之凹

    影像輸入

    貳、影像前置處理

    將擷取之影像作進一步之處理,包含影像旋轉校正、影像切割、

    影像亮度調整、瑕

    參、瑕疵影像分離

    在此使用二值化的方式進行瑕疵影像的分離。所謂的二值化,指

    的就是為

    31

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    陷與孔洞之大小,因此本研究亦採用灰 來分辨各類瑕疵的特

    徵。以下會先針對挑選特徵值過程中所參考的方法(profile 法、直方圖

    法)進行解釋,再對挑選出來的特徵值(真圓度、粗糙度、長短軸距離

    比、灰階值標準差‥等等)簡短介紹,再對每種瑕疵敘述其基本定義,

    最後根據每種瑕疵特徵說明如何決定取用幾何與 gray levels 特徵值的

    原因。

    一、在挑選特徵值過程中所參考的方法

    le)法和直方圖

    (histogram)來觀察瑕疵的灰階變化程度。Pro

    一條線之灰度變化,產生一維的信號,藉由輪廓的分析通常即可得到

    所需要的資訊。而直方圖是影像灰度的機率函數,一般以長條柱表示

    每一 度機率的大小,也稱 條圖,其橫座標 的灰階亮度

    值,縱座標則為影像中各個灰階值所含的像素數量。可從此機率函數

    得到 有和此影像有關的統 性,影像直方圖可由下式求得:

    P f (x)= P rob [f=x]=灰度值為 x 的像數個數/所有像素個數= n x / n t

    強弱 何 ,民 93 下圖 3.3。以下將介紹各種瑕疵並指出

    如何由 profile 及長條圖看出其差異性。

    階特徵值

    在特徵值的擷取過程中,本研究使用輪廓(profi

    file 是利用影像中的任何

    為 0-255灰 為長

    所 計特

    由此分佈圖可以了解此影像的動態範圍,是否偏暗,偏亮,對比

    如 等(連國珍 ),見

    圖 3.3 直方圖

    二、在挑選特徵值過程中所使用的特徵函數:

    特徵擷取的目的是將有利於瑕疵分類的特徵挑選出來,再利用這

    32

  • 第三章 研究方法

    些特徵來描述或表示某一瑕疵之形狀及顏色,使我們能利用多種特徵

    來區分不同的瑕疵類別(莊富傑,民 85)。在本研究裡所採用的特徵有

    真圓度、粗糙度、伸展率( )、及灰階值標準差及灰階最大

    值五種。而在此只針對前四項特徵值進行解釋說明如下:

    arity Ratio)

    真圓度指標由計算面積和周長得來的,與 Hcrton 形狀率相比,綜

    合了各種不規則形狀的要素,比較能確切地反映出區域形狀的緊湊與

    離散

    2. 伸展率(Elongation Ratio)

    算公式為:L / LS

    主要以主圖區長軸與短軸之比為量度指標。主軸長是物件中最長

    的對角線;方形與圓形的伸展比率為 1,形狀愈近扁平者愈大於 1。

    hness)

    粗糙度指的是輪廓實際周長除以包覆輪廓之外凸多邊形周長所得

    的比值,當物體輪廓愈不平順者,其凸出周長較周長為小,因此粗糙

    度大

    4. 灰階值標準差 evel)

    長短距離比

    1. 真圓度(Circul

    亦稱緊密度或緊湊度,這項指標由 Miller 於 1953 年提出,其計算

    公式為:P2/4πA

    程度。根據真圓度公式計算的圓形狀的緊密度為 1,其它細長形

    狀物體的緊密度都小於 1。

    1969 年 Werrity 提出該項指標,計

    L:longest(major)axis,LS :secondary(minor)axis

    3. 粗糙度(Roug

    粗糙度與周長 l p(perimeter)及凸出周長 lc(convex perimeter)有

    關,粗糙度之定義為 Roughness=lp / lc 。

    於 1;至於輪廓愈平滑者,其凸出周長與周長愈接近,因此粗糙

    度接近 1。

    (The standard deviation of gray l

    33

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    在灰階影像處理中,某物體影像共有 N 個像素,第 i 個像素之灰

    階值為 Pi,其灰階標準差(The Standard Deviation of Gray Level,STDGL)

    定義為:STDGL =

    NNPi

    Pi2

    2

    一個區域內,當灰階值變化愈大者,其 STDGL 值愈大;當各像

    素之

    伍、瑕疵分類:

    因此在整個研究流程裡,第一步先把從 profile 收集到的灰階值資

    訊數值化,之後便根據幾何公式計算每類瑕疵的幾何特徵值,包含真

    圓度、伸展率和粗糙度,最後再統計各類之特徵值並輸入到類神經網

    路當輸入值,因此最後類神經的輸入值共有五個:真圓度、伸展率、

    瑕疵種類,類神經網路運作之流程如下圖 3.4 所示。

    在建立一個倒傳遞神經網路之前,可經由幾個步驟來達成:

    步驟 1:確定特徵參數。

    步驟 2:建立網路架構,即訓練過程所需的數據,網路層數及各

    層間神經元數目。

    步驟 3:隨機設定權重值之初始值。

    步驟 4:調整權數及權重值。

    步驟 5:測試網路是否已收斂,否則回到步驟 3,一直循環至網路

    收斂

    灰階值相同時,則 STDGL 值為零。

    一、運用類神經網路

    (一)、導入類神經之研究步驟

    糙度、灰階值標準差及灰階最大值。而輸出值則為九種金凸塊表面

    (二)、倒傳遞神經網路運作之步驟

    為止。如圖 3.5,將特徵參數建立測試模型,然後將參考模型做訊

    34

  • 第三章 研究方法

    號還原比對,最後輸出結果。

    從profile收集灰階值的相關

    資訊

    根據幾何公式

    計算每類瑕疵

    的幾何特徵值

    統計各類之特徵值並輸入

    到類神經網路當輸入值 洞孔

    圖 3.4 類神經網路運作過程流程圖 Output

    真圓度

    伸展率

    粗糙度

    Hidden

    Inputs

    整片污染

    圓形污

    針扎

    整片刮傷

    長形刮傷

    灰階最大值

    灰階標準差

    不完全

    沒有金凸塊

    偏離

    35

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    確定特徵參數

    建立網路架構

    設定權重

    圖 3.5 倒傳遞類神經網路學習過程流程圖

    二、運用支援向量機

    (一)、正規化:

    利用特徵值擷取之後的原始資料,可再經過正規化的動做,將其

    數值轉換到特定範圍內,一般來說為 0 到 1 之間或-1 到 1 之間,這個

    步驟 ,以增加分類器的運算速

    度,並提高分類正確性。

    (二)、選擇交叉驗證組數:

    主要的目的是不要讓數字的範圍過大

    即選擇 n-fold-cross-validation 的 n 值,一般為 5 或 10。

    測試網路是否收斂

    建立參考模型

    訓練階段:調整權重

    36

  • 第三章 研究方法

    (三)、建立分類系統:

    此綜合方法為根據期望權重值的概念,整合 BPN 與 SVM 所得到

    選擇支援向量機的核心函數,根據 Hsu (Hsu et al. 2003)建議,選

    擇核心函數時應優先考慮放射型(RBF)核心函數,因為它具有以下優

    點:1. RBF 核心函數能分類非線性且高維的資料。2. 只須調整兩個

    參數 少操作上的複雜性,且能達到較高的預測能力。

    3. 輸 1 之間,減少運算的複雜度和時間。

    (四)、使用格子點(Grid algorithm)演算法來尋找最佳化參數 C 和

    g:所謂格子點演算法就是為找出不同 C 與 g 值的可能解組合,並選

    擇最大值視為最佳解。當最佳解不只為一組時,再進一步對每一組解

    的細部深入尋找,如有一組解為(3,3),則格子點演算法將再嘗試對

    (3.1,3.1 找,直到找到最佳解才停止。

    三、綜合方法(IoBS)

    方法,因此稱為 IoBS (Integration of BPN and SVM)。這個方法主要應

    用的情 器對於最終類別歸屬結果的意見

    不一致時,尤其是當某一個分類器辨識正確,另一個卻辨識錯誤的時

    候,則可利用此方法重新驗證彼此具有差異的分類結果,預期可以修

    正被辨識為錯誤分類的樣本。

    是根據 SVM 和 BPN 所分類出來的結果,將兩種分類器

    output 率

    期望值的基本概念(期望值=結果*出現機率)求得,之後根據所求得的

    IoBS 類別最終的歸屬。計算公式如下所示:

    *possibility

    本研究上述公式以權重代表期望值,分類器的分類正確率代表結

    果,possibility(可能性百分比,指的是針對每個樣本所判斷出來歸屬於可能性最高類別的百分比重 現機率。

    C 和 g ,不但減

    入資料限定在 0 至

    )或(2.9,2.9)進行尋

    況在於 BPN 與 SVM 兩個分類

    其做法

    值進行綜合分析比較,計算歸屬類別的權重數主要是利用機

    權重數,作為判斷

    權重=分類正確率

    )代表出

    37

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    透過上述公式分別計算 BPN 與 SVM 的權重,若假設 BPN 的權重

    高於 SVM,則 IoBS 的最終類別 的最終分類結果為依

    據;反之,若 SVM 的權重高於 BPN,則 IoBS 的最終類別會以 SVM

    判斷的最終分類結果為依據。

    舉例如下,假設本研究使用兩個分類器針對某個樣本進行分類。

    若 BPN 的分類正確率為 95%,SVM 有 97%的分類正確率,而 BPN 對

    於該樣本所歸屬的類別,其 possi SVM 只有 85%,計

    算其權重,最後可得到 BPN 與 SVM 各別的權重數如下:BPN:

    95%*90%=85.5 ,SVM:98%*85%=83.3,由於 BPN 的權重較高,因

    此 IoBS 在該樣本的 判斷 終分類結果為依據

    分類結果為依據。

    而此計算的過程可整理成一個判斷公式如下:

    IoBS = Max( Pix,Piy )

    其中 Pix = BPN * Px,

    且 Px 為 BPN 判斷最高類別

    而 Piy = SVM * Py,

    且 Px 為 SVM 判斷最高類別的 possibility;

    If Pix > Piy Then IoBS = BPN

    If Pix < Piy => IoBS = SVM

    根據這個公式便可以推斷 IoBS 最終的判斷結果為何。

    陸、

    ,另一個分類器卻辨識錯誤的

    情況,觀察原本從判斷錯誤至 IoBS 卻判斷正確的過程,並就分類正

    確率及分類正確筆數分析並以圖表表示之。

    會以 BPN 判斷

    bility 為 90%,而

    上,以 BPN 判斷的最分類

    的 possibility;

    最後的判斷式為:

    效能分析比較

    以綜合方法 IoBS 為主,與 BPN 及 SVM 進行瑕疵分類結果的比

    較。特別針對當某一個分類器辨識正確

    38

  • 第三章 研究方法

    39

    第三節 研究工具

    gnuplot

    的輔助功能,原理以配對方式去測試該分類器對樣本的最佳辨識率,

    C 與 g 的最佳組合。

    BPN、SVM、IoBS

    輔助 R14、Libsvm 2.8.1、 python 2.4.4、

    gnuplot

    本研究整個研究流程中,針對不同的步驟,使用了幾套不同的軟

    體工具,在影像處理方面,使用了 NeuroCheck 進行影像前置處理和

    特徵值擷取的步驟;類神經網路則使用 Matlab R14 進行分類,SVM

    是使用林仁智老師所開發的 Libsvm 2.8.1,並再結合 python 和

    藉以求出

    影像處理:PhotoImpact 8.0、NeuroCheck 5.0

    分類器:

    工具: Matlab

  • 第四章 實驗過程與結果

    第四章 實驗過程與結果

    最後為 IoBS 的做法與三個分類器的

    比較分析結果,並於第四節提出本實驗過程的發現。

    壹、影像輸入

    把原始圖轉灰階圖後,影像呈現 0-255 色之灰階分佈,如下圖 4.1。

    本章實例分析中,將藉由上一章所提出之研究流程架構,實際應

    用到金凸塊表面瑕疵影像分類,並說明各個流程的實驗結果。最後使

    用 IoBS 綜合類神經網路與支援向量機的方法與兩者進行比較。為了

    介紹方便,將此實驗過程分為三大部分,一為影像前置處理的步驟及

    特徵值擷取,歸納到第一節瑕疵檢測;二為應用 BPN 與 SVM 的實驗

    過程,歸納到第二節瑕疵分類;

    第一節 瑕疵檢測

    經過色階轉換,

    彩色影像變灰階

    圖 4.1 原始圖片與經色階轉換後之灰階圖片

    貳、影像前置處理

    此部分所執行的步驟有影像旋轉校正、影像範圍定義、影像亮度

    調整、瑕疵影像增強,隨著每張影像原始檔圖不同,所執行的步驟也

    不見得完全一樣。在此說明的步驟是此影像前置處理中相當關鍵的步

    驟之一,影像亮度調整。由於每張瑕疵影像可能來自不同批的晶粒而

    產生,因此在光源、亮度上均有所不同,這也會影響到所使用的 gray

    levels 特徵值的精確性,因此在這利用了直方圖均化來解決影像照度

    不均的情況,以增加其對比,並使用 Shading 將影像亮度均化,這樣

    一來可以解決大部分的影像光源、亮度不均等的情況,經 Shading 前

    後圖的差異可參考 4.2。

    41

  • 第四章 實驗過程與結果

    最後

    針對不同瑕疵如何根據方法擷取其合適的特徵值,在此分別介紹

    九種常見的金凸塊瑕疵種類,包括:洞孔、針扎、不規則污染、圓形

    污染、整片刮傷、長形刮傷與金凸塊不完全、金凸塊偏離和沒有金凸

    塊。以下將做個 徵值。其中由於圓形

    污染與不規則污染的特性接近因此歸納為污染,整片刮傷與長形刮傷

    的特性接近歸納為刮傷,金凸塊不完全、金凸塊偏離與沒有金凸塊三

    (一)洞孔:

    種類名稱 影像 特徵

    瑕疵會被分離出來=====

    圖 4.3 二值化的過程

    肆、特徵值擷取

    簡單說明,並介紹如何擷取其特

    者特性接近,因此一起說明介紹如下:

    表 4.1 洞孔特徵簡介

    洞孔 外形為接近圓形的形狀。中間

    為白色洞孔 ,洞孔四周伴隨一

    圈焦黑。

    由表 4.1 可見瑕疵洞孔的外觀,最明顯的除了其形狀為近似圓形

    之外,在中央洞孔的旁邊,會伴隨著一圈焦黑現象,這可能是由於鍍

    金不完全所造成。根據 profile 法來觀察洞孔的灰階變化情形,如

    所示,會發現中間的灰階值接近 256,而兩旁的值明顯降低,

    其灰階值呈現”凸”字型,符合洞孔瑕疵表面的特徵,中間是穿透的洞

    孔為白色,其值接近 256,兩旁焦黑的現象,灰階值明顯低於

    然也有兩旁與中間的值都接近 255 的狀況,這可能是中間洞孔穿透的

    4.4、4.5

    256。當

    43

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    部分較多,而兩旁焦黑情形較少所造成,但焦黑情形一定會伴隨洞孔

    出現,所以整個灰階值

    因此在特徵值的挑選上面,選擇以真圓度此幾何特徵值來判斷洞

    孔是否為近似圓形;在灰階變化的部分,採用 gray level 最大值來判

    斷此瑕疵是否有 透金凸塊和整

    色的背景,另外,由於洞孔的灰階變化很大,

    所以採用 gray level 標準差來加以判斷, 推測其變化也會很大。

    不會呈現水平狀出現。

    穿透的現象,因為洞孔的最大特色為穿

    個銲墊,所以會形成白

    圖 4.4 洞孔瑕疵的灰階變化情形-1 圖 4.5 洞孔瑕疵的灰階變化情形-2

    (二)針扎:

    表 4.2 針扎特徵簡介

    種類名稱 影像 特徵介紹

    針扎 與洞孔一樣,中央部分為白色

    近似圓形的洞孔,但兩旁無焦

    黑部分,而且面積較小。

    在晶圓針測的過程中,需對金凸塊進行電性測試,以針測其是否

    可以通電,若無法通電即為不良品,需將之捨棄。在此針測過程中,

    可能會因為探測針老舊或針測機故障,而造成針扎過重的現象發生,

    44

  • 第四章 實驗過程與結果

    即指將金凸塊破壞造成一個洞發生。瑕疵針扎的特性類似於洞孔,但

    其兩旁無焦黑情況發生,所以整個瑕疵所代表的即為穿過,

    會有凹凹凸凸不平的現象,可由粗糙度得知。由圖 4.6 觀查其灰階程

    度的變化,也可以很清楚 小,而且其灰階值亦接

    不大。

    為楕圓狀的針扎的幾何形狀更接近於楕圓與圓形,形狀四周較不

    的看見變化程度相當

    近 256,且變化程度

    圖 4.6

    (三)

    表 4.3 污染特徵簡介

    種類名稱 影像 特徵簡介

    針扎瑕疵的灰階變化情形

    污染:

    污染

    此污染是指在針測後,不良品

    所被點上的墨水污染,包含墨

    跡殘留、墨點太大等。

    由於不規則污染和圓形污染之差別只在於外觀形狀不同,而特性

    通同,因此合併一起介紹。污染造成的原因很多,最主要是在晶圓針

    45

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    測的過程中,需測試晶圓中每一顆晶粒的電氣特性,線路的連接,檢

    查其是否為不良品,若為不良品,則點上一點墨水,作為識別之用,

    此處指的即是製程上常發生的墨水污染,包含墨跡殘留(不規則污

    染)、墨點太大(圓形污染)等。從圖 4.7 中與 4.8

    的灰階變化程度會不規則的出現,但由於其為黑色墨水污染造成,因

    此可知道 gray level 最大值之值不會接近 256(即白色),大概介於 128

    上下。

    中,可以清楚看到污染

    圖 污染瑕疵的灰階變化情形 圖 污染瑕疵的灰階變化情形

    (四)刮傷:

    表 4.4 刮傷特徵簡介

    種類名稱 影像 特徵簡介

    4.7 -1 4.8 -2

    刮傷 晶片表面刮傷,會產生

    深淺程度不一的刮痕。

    製造過程中因人為因素所造成的晶片表面刮傷缺陷,在晶圓偵測

    中被區分為系統性缺陷,也就是系統性瑕疵。在此常見的刮傷有兩大

    類,一為長形刮傷,為針測時,不小心因位置偏離所造成的條狀刮傷;

    46

  • 第四章 實驗過程與結果

    另一為整片刮傷,可能機器異常或不正常程序而造成金凸塊發生整片

    刮傷的情況。這兩種刮傷情形之幾合特徵雖不同,一為長條狀,一為

    整片不規則形狀,但所造成刮傷的現象以灰階特徵值來表現是差不多

    的,因此針對形成刮傷的原因來分析。

    造成由深到淺或由淺到深的痕跡,而最

    深的刮傷經過 shading 之後的灰階變化如圖 4.9,通常會呈現白色,因

    此可知其 gray level 最大值接近 256,gray level 標準差的變化程度不

    大。

    刮傷的情況常會產生刮痕的痕跡,如表 4.4 的圖所示。其刮痕的

    特徵為深淺程度不均,通常會

    圖 4.9 刮傷瑕疵的灰階變化情形

    (五) 金凸塊不完全、偏離,沒有金凸塊:

    表 4.5 金凸塊不完全、偏離,沒有金凸塊之特徵簡介

    種類名稱 影像 特徵簡介

    金凸塊不完全

    (Incomplete

    bump)

    不完全為缺一角或一塊

    的不規則的金凸塊缺

    陷,會露出銲墊部分。

    47

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    表 4.5 金凸塊不完全、偏離,沒有金凸塊之特徵簡介(續)

    種類名稱 影像 特徵簡介

    金凸塊偏離

    (Bump

    misalignment)

    金凸塊一大半偏離

    銲墊,通常一次不只一

    個。

    沒有金凸塊

    (Missing

    bump)

    銲墊上缺少金凸

    塊,造成電路故障情形

    發生。

    在整個晶圓製造過程中,金凸塊有可能因為人為或機器故障的關

    係,而造成金凸塊本身缺一角或一塊的現象,為金凸塊不完全

    偏離(Bump misalignment),亦可能產生金凸塊掉落的現象,稱為沒有

    以上這三種金凸塊瑕疵的現象,可以整合一起來觀察之,因為三

    種瑕疵的共同特色就是在經過瑕疵擷取之後,皆會露出銲墊的部分如

    圖 4.10。由於金凸塊必需黏附於銲墊上面,所以若是發生金凸塊缺一

    角的現象,則必然會露出一部分的銲墊,而偏離和脫落的情況更是特

    別明顯,所以只要針對銲墊的部分加以計算其灰階特徵值之後,再根

    據幾何的形狀,便可以推測這三種瑕疵狀況。

    (Incomplete bump),或是金凸塊偏離了原本的鋁墊的情況即為金凸塊

    金凸塊(Missing bump)

    48

  • 第四章 實驗過程與結果

    銲墊

    圖 4.10 銲墊部分

    由圖片中可以清楚看出,在金凸塊的底部還有一塊銲墊存在,經

    過 shading 之後,從 profile 可以看到其 gray level 最大值皆接近 240,

    但絕對不可能接近 256,因為銲墊的顏色介於灰白色之間,因此 gray

    level 最大值可以用來區別和其它瑕疵的不同。

    在這三種瑕疵類別中,又以”沒有金凸塊”的 profile 最好辨別。因

    為三種瑕疵的情形都會將銲墊露出在外,而銲墊只為一個顏色所構

    成,因此 profile 表現出來的灰階變化程度也相當穩定幾乎呈一直線,

    如圖 4.11 所示。但沒有金凸塊的情況為整塊銲墊露出,因此瑕疵特徵

    值的部分指的便是這塊長方形的銲墊,即可以使用「伸展率」此特徵

    值清楚辨識,而伸展率即為固定值,且不會與其它兩種瑕疵類相同值。

    另外金凸塊偏離的情況,指的是金凸塊偏離銲墊的情形,這種情形造

    成的瑕疵形狀也比 凸塊不完全較大

    ,而金凸塊不完全較容易出現不規則的形狀,因此可用粗糙度、

    真圓度等特徵值將兩者區別,其灰階圖分別為圖 4.12、圖 4.13 所示。

    較固定,通常為長方形,這是與金

    的區別

    49

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    圖 4.11 沒有金凸塊的灰階變化情形

    圖 4.12 金凸塊偏離的灰階變化情形

    圖 4.13 金凸塊不完全的灰階變化情形

    50

  • 第四章 實驗過程與結果

    第二節 瑕疵分類

    壹、資料來源與格式

    本研究的影像來源主要是由台北一間影像處理公司所提供,為瑕

    疵金凸塊之影像。分別根據不同瑕疵類別挑選具有代表性的樣本,瑕

    疵類別共為九類,類別及個數整理如下表 4.6 所示。

    表 4.6 金凸塊瑕疵影像之樣本數

    瑕疵類別 訓練樣本數 測試樣本數 全部

    洞孔 26 20 46

    針扎 30 24 54

    圓形污染 30 21 51

    不規則污染 23 18 41

    整片刮傷 29 23 52

    長形刮傷 28 23 51

    金凸塊不完全 18 16 34

    金凸塊偏離 36 20 16

    金凸塊不完全 30 23 53

    全部 234 184 418

    51

  • 整合 ANN 與 SVM 於金凸塊表面瑕疵分類之研究

    貳、類神經網路分類

    一、類神經網路參數決定:

    在使用類神經網路的時候,必須設定許多參數值,才得以讓網路

    經學習得到最佳效果。由於這些參數的決定尚無系統化的方法可遵

    循,通常皆須經由試誤法來測試,因此本研究參考許多文獻的參數進

    行調整,得到最佳結果的參數設定為如下,請參考圖 4.14,而網路架

    構為圖 4.15 所示:

    採用倒傳遞類神經法則,其基本原理為最陡坡降法。

    學習方式:監督式學習

    訓練樣本:樣本分配比率 56% 為 234 筆

    測試樣本:樣本分配比率 44% (1-56%),為 184 筆

    學習率:決定網路連結權重的修正量,取 0.8

    學習次數(epoch):300 代

    允許誤差:0.01

    回想過程:權重與偏差值組合:經網路自動學習而得

    回想方式:輸入待測樣本以求得網路輸出

    52