行政院國家科學委員會補助專題研究計畫成果報告

期末報告

感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統之開發與研製

研究成果報告(精簡版)

計 畫 類 別 ：個別型計畫

計 畫 編 號 ： NSC 101-2622-E-011-020-CC3

執 行 期 間 ： 101年 11 月 01 日至 102年 10 月 31 日

執 行 單 位 ：國立臺灣科技大學材料科學與工程系

計 畫主持人：郭中豐

計畫參與人員：碩士班研究生-兼任助理人員：范致嘉

碩士班研究生-兼任助理人員：郭昺辰

碩士班研究生-兼任助理人員：賴俊宇

碩士班研究生-兼任助理人員：蔡鈞涵

碩士班研究生-兼任助理人員：嚴鈞懷

博士班研究生-兼任助理人員：吳翰承

博士班研究生-兼任助理人員：彭楷慶

處 理 方 式 ：

1.公開資訊：本計畫可公開查詢

2.「本研究」是否已有嚴重損及公共利益之發現：否

3.「本報告」是否建議提供政府單位施政參考：否

中 華 民 國 103年 01 月 28 日

中 文 摘 要 ： 本計畫為感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統

之開發，用以進行感光元件之封裝級玻璃瑕疵檢測，其開發

系統運用背光源搭配正光源以突顯玻璃蓋片瑕疵，再使用面

型相機進行封裝級玻璃影像擷取；並提出多層影像(multi-

layer image)亮度校正法，進行影像亮度校正，解決亮度不

均之問題；運用影像金字塔降低影像資訊量及正規化相關係

數法模板比對來進行封裝級玻璃之定位，並分別針對封裝級

玻璃之光阻區與非光阻區進行檢測，光阻區利用 Otsu 法，將

封裝級玻璃之光阻，從影像中分割出來，並計算其光阻殘缺

之面積；而非光阻區則分為高對比度瑕疵(亮點、暗點以及刮

傷)與低對比度瑕疵(溶液殘留)進行檢測，高對比度瑕疵使用

最大熵值法來進行瑕疵影像分割，而低對比度瑕疵則是先使

用直方圖等化突顯瑕疵特徵，再搭配最大熵值法來進行瑕疵

影像分割，結合支持向量機來進行非光阻區瑕疵分類辨識(亮

點、暗點、刮傷以及溶液殘留)，最後，結合電腦人機控制介

面、影像擷取設備、光源設備及電控系統，以達到感光元件

之封裝級玻璃瑕疵檢測系統軟硬體整合之自動化檢測目的，

本研究之自動化光學檢測能夠檢測出 5 以下的瑕疵，且實驗

結果顯示，瑕疵分類準確率 98.97%，可滿足產業界自動化光

學檢測系統上之需求。

中文關鍵詞： 封裝級玻璃檢測、多層亮度校正法、影像金字塔、最大熵值

法、支持向量機。

英 文 摘 要 ： This study developed an intelligent automated optical

inspection system for packaging level glass defects

of photosensitive elements. The light source in this

study is consisted of back light source, polarizing

film and positive light source, for highlighting the

cover glass defect charac-teristic, and the CCD

camera acquired the packaging level glass image, and

proposed muliti-layer intensity calibration method to

overcome that problem of image uneven intensity. The

image pyramid is used to reduce the image information

content and normalize template matching of the

correlation coefficient method to position the glass.

The photoresist area and non-photoresist area of the

packaging level glass are detected. In the

photoresist area, the Otsu method is used to sep-

arate the photoresist of packaging level glass from

the image, and the photoresist breakage area is

calculated. In the non-photoresist area, the high-

contrast defects (bright spot, dark spot and scratch)

and low-contrast defect (solution residue) are

detected. In the high-contrast defects, the maximum

entropy is used for defect image segmentation. In the

low-contrast defect, the histo-gram equalization is

used to highlight the defect characteristic, and then

the maximum entropy is used for defect image

segmentation. The support vector machine is used for

non-photoresist area defect classification

identification (bright spot, dark spot, scratch and

solution residue). Finally, the computer man-machine

control interface, image capture equipment, light

source equipment and electric control system are

combined, so as to implement the software and

hardware inte-grated automatic detection of the

packaging level glass defect detection system for

photosensitive elements. The automated optical

inspection in this study can detect defects less than

5 . The experimental results showed that the defect

classification accuracy rate is 98.97%.

英文關鍵詞： packaging level glass inspection, multi-layer

intensity calibration method, image pyramid, maximum

entropy, support vector machine.

行政院國家科學委員會補助產學合作研究計畫成果精簡報告 計畫名稱：感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統之開發與研製 計畫類別：□ 先導型 □ 開發型 ■ 技術及知識應用型 計畫編號：NSC 101－2622－E－011－020－CC3 執行期間： 101 年 11 月 01 日至 102 年 10 月 31 日 執行單位：國立臺灣科技大學 材料科學與工程學系

計畫主持人：郭中豐

共同主持人：

計畫參與人員：吳翰承、彭楷慶、賴俊宇、郭昺辰、范致嘉、蔡鈞涵、嚴鈞懷

研究摘要：

本計畫為感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統之開發，用以進行感光元

件之封裝級玻璃瑕疵檢測，其開發系統運用背光源搭配正光源以突顯玻璃蓋片瑕疵，再使

用面型相機進行封裝級玻璃影像擷取；並提出多層影像(multi-layer image)亮度校正法，進行影像亮度校正，解決亮度不均之問題；運用影像金字塔降低影像資訊量及正規化相關係

數法模板比對來進行封裝級玻璃之定位，並分別針對封裝級玻璃之光阻區與非光阻區進行

檢測，光阻區利用 Otsu 法，將封裝級玻璃之光阻，從影像中分割出來，並計算其光阻殘缺之面積；而非光阻區則分為高對比度瑕疵(亮點、暗點以及刮傷)與低對比度瑕疵(溶液殘留)進行檢測，高對比度瑕疵使用最大熵值法來進行瑕疵影像分割，而低對比度瑕疵則是先使

用直方圖等化突顯瑕疵特徵，再搭配最大熵值法來進行瑕疵影像分割，結合支持向量機來

進行非光阻區瑕疵分類辨識(亮點、暗點、刮傷以及溶液殘留)，最後，結合電腦人機控制介面、影像擷取設備、光源設備及電控系統，以達到感光元件之封裝級玻璃瑕疵檢測系統軟

硬體整合之自動化檢測目的，本計畫之自動化光學檢測能夠檢測出 5 mm 以下的瑕疵，且實驗結果顯示，瑕疵分類準確率 98.97%，可滿足產業界自動化光學檢測系統上之需求。

人才培育成果說明： 本計畫目的在於摒除原先採用人工方式判斷感光元件之封裝級玻璃瑕疵的缺失，設計

整合數位影像處理技術於感光元件之封裝級玻璃瑕疵檢測系統，解決人為因素所造成無法

克服的瓶頸，並於計畫執行過程中來培育人才。藉由感光元件之封裝級玻璃瑕疵檢測系統

之開發與研製，讓計畫參與人員獲得下列訓練培育： 了解感光元件封裝級玻璃於生產製造上之各部分細節，並詳細了解實際人工檢測過程。 於系統硬體架構過程中，培育參與人員對於硬體規格的選用以及機構規劃與設計時，

所具備之專業能力。 於系統控制與影像擷取中，培育參與人員對於實際運動控制卡與影像擷取卡的控制原

理與實際操作。 於光源打光過程中，培育參與人員對各式光源種類的打光特性的了解，與針對突顯感

光元件封裝級玻璃瑕疵之光源種類作選擇。 於系統亮度校正中，培育參與人員對於擷取影像亮度不均之原因進行分析，並針對其

附件二

亮度不均採取適當的校正方法之專業能力。 於瑕疵分割過程中，培育參與人員對於自動化光學檢測技術中，針對瑕疵部分選擇適

當的影像處理方式來突顯瑕疵特徵，並針對不同影像背景上有效地分割出瑕疵特徵之

專業能力。 於瑕疵辨識過程中，培育參與人員對於瑕疵辨識分類上，對於支持向量機理論瞭解，

以及實際於感光元件封裝級玻璃瑕疵分類上之運用。 於程式開發過程中，培育參與人員對於軟體撰寫之開發能力，對於系統規畫適合之人

機開發介面，以符合使用者操作需求。 目前產業界對於自動化光學檢測仍有極大發展性，藉由上述之計畫執行過程中，增加

參與人員自動化光學檢測開發之經驗，使參與人員具備有上述之專業能力，以協助目前廠

商對於感光元件封裝級玻璃瑕疵檢測系統之開發，並培欲專業人才來解決目前產業人工方

式判斷感光元件封裝級玻璃瑕疵的缺失之問題，提升產業競爭力。

技術研發成果說明： 隨著時代的進步，近年來人們對生活品質的要求提高與市場需求提升，電子產品推陳

出新，對於電子產品之要求越來越嚴苛，且電子產品皆以輕、薄、小之目標來進行其發展。

隨著人們對影音多媒體的需求增加，近期的電子產品皆會搭載數位相機的功能，如智慧型

手機、平板電腦、筆記型電腦和行車記錄器等產品，讓人們可以隨時隨地紀錄下生活點滴

與他人分享，可以說數位相機功能已成為電子產品必備之功能，因此市場對數位影像設備

的需求日益增加，故其感光元件也受到重視。而影像感測模組封裝型式採用環氧樹脂無引

線晶片載具 (epoxy leadless chip carrier, ELCC)之方式進行，該模組封裝過程，影像感測晶片容易受到環境之影響，須於潔淨室進行其封裝，而感光元件模組對潔淨室之要求大約在

等級Class 100，若封裝級玻璃上有髒汙或是瑕疵達到5 mm ，即會影響成像，產生影像問題。故產業針對其封裝級玻璃之瑕疵檢測越來越受到重視，圖1為封裝級玻璃尺寸與結構示意圖。

圖1. 封裝級玻璃尺寸與結構示意圖

本計畫為感光元件之封裝級玻璃瑕疵檢測，自行設計開發之實驗機台，並利用自動化

光學檢測技術以及數位影像處理技術，將封裝級玻璃上的瑕疵檢出，並且結合分類器，將

檢出的瑕疵辨識分類，以便工程師分析瑕疵形成原因以及找出製程上之缺陷，以下為本計

畫之結論及論點： 1. 由本計畫自行設計開發之硬體架構系統含括 CCD 相機、X-Y-Z 軸移動平台、光源調整

器以及正、背光源，建構出一套感光元件封裝級玻璃瑕疵檢測之硬體架構，並針對其

完成一套完整之檢測流程。 2. 本計畫自行提出以 LUT 方式為基礎的多層影像亮度校正方法，其亮度校正結果如表 1

所示，實驗證明原始亮度不均影像之光響應非均勻性(photo-response non-uniformity,

PRNU)，分別為 28.02%以及 27.57%，經過本研究所提出之多層影像亮度校正方法校正過後，其影像之 PRNU 可降低至 1.85%以及 1.04%，而原始影像之均勻度分別為 43.96%以及 44.85%，經過校正可提升至 96.29%以及 97.92%，證明本計畫之亮度校正方法可有效地解決影像亮度不均之問題，避免後續無法正確地分割出影像瑕疵，表 1 為實驗結果數據且圖 2 為亮度校正方法之結果圖。

表1. 影像B亮度校正評比比較表 PRNU Uniformity error 原始影像 27.57% 44.85% 27.57 One-layer 7.86% 84.28% 1.50 Three-layer 1.04% 97.92% 0.17 Five-layer 0.98% 98.04% 0.16

(a)原始影像 (b)亮度校正影像

(c) 原始影像(色彩分佈) (d) 亮度校正影像(色彩分佈)

圖 2. 擷取影像經由 three-layer 亮度校正之結果比較

3. 經由本計畫所提出的數位影像處理流程，可以找出封裝級玻璃上之瑕疵位置，並利用連通物件標記，標記瑕疵，計算其特徵值，針對光阻區的光阻缺損進行缺損面積的計

算，而非光阻區的瑕疵分別為亮點、暗點、刮傷以及溶液殘留等四種瑕疵。 4. 本計畫針對非光阻區之四種瑕疵進行分析，最後挑選出三種瑕疵特徵值，分別為周長、

平均灰階值以及似圓性，當作分類器之輸入。 5. 本計畫在分類器的部分，選用倒傳遞類神經網路與本研究選用的支持向量機作效果比

較，實驗結果顯示，倒傳遞類神經網路的總體辨識率為 92.86%，如表 2 所示，而支持向量機的總體辨識率為 98.97%，如表 3 所示，且倒傳遞類神經網路對於暗點瑕疵之辨

識率僅為 81.25%，無法有效地將暗點瑕疵分類，而支持向量機於各類瑕疵辨識率均有95.8%以上，故證明本計畫所選用的支持向量機可有效地將瑕疵準確分類，表 4 為導傳遞類神經與支持向量機之綜合比較表。

表2. 倒傳遞類神經網路之辨識率 樣本

(總數) 辨識結果

亮點 (48)

暗點 (48)

刮傷 (53)

溶液殘留 (47)

亮點 45 0 0 0 暗點 0 39 0 2 刮傷 3 0 53 0

溶液殘留 0 9 0 45 辨識率 93.75% 81.25% 100% 95.74%

表3. 支持向量機之辨識率 樣本 (總數)

辨識結果

亮點 (48)

暗點 (48)

刮傷 (53)

溶液殘留 (47)

亮點 48 0 0 0 暗點 0 46 0 0 刮傷 0 0 53 0

溶液殘留 0 2 0 47 辨識率 100% 95.8% 100% 100%

表4. 分類器辨識率比較表 分類器名稱 瑕疵種類

倒傳遞類神經 支持向量機

亮點 93.75% 100% 暗點 81.25% 95.8% 刮傷 100% 100% 溶液殘留 95.74% 100% 總辨識率 92.86% 98.97%

經由實驗結果證明，本計畫所提出的智慧型感光元件封裝級玻璃瑕疵辨識系統，可改

善亮度不均之問題，且可確實找出瑕疵位置，並將瑕疵精準的分類；因此，產業界可藉由

本研究所提出之系統，縮短其作業時間、減少人事成本以及降低人工目檢之誤判，提升產

品之良率，使得產品更具有競爭力。圖3為本計畫之檢測流程圖。

圖3. 封裝級玻璃檢測系統流程圖

技術特點說明：

本計畫所執行感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統之技術特點如下： 1. 以自動化光學檢測技術為基礎，來改善傳統感光元件之封裝級玻璃瑕疵檢驗皆採取人

為辨識檢測之問題，自行設計一套符合感光元件封裝級玻璃需求之自動化光學檢測系

統，且檢測資料也可進行有效的建檔，進行後續之瑕疵分析，提升生產產品品質的良

率。 2. 針對感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統，開發出一套適合用於封裝級

玻璃瑕疵辨識系統，其具備封裝級玻璃影像定位、瑕疵特徵分割、瑕疵辨識分類之功

能，可有效地針對封裝級玻璃上光阻區以及非光阻區之瑕疵辨識，其變是最小瑕疵辨

識大小為 5 mm ，其瑕疵辨識率為 98.97%，可應用於實際封裝級玻璃檢測產線上，提升檢測辨識率，進而維持產品之品質。

3. 針對亮度校正之部分，本計畫以查找表為基礎，提出一個新穎的多層查找表，可避免相機與鏡頭搭配以及所選用光源種類之影響所造成的亮度不均問題，有效地進行亮度

校正，呈現一個亮度均勻分佈之影像，使其後續進行瑕疵特徵分割與辨識分類時，具

有相同基準之特徵來進行運算，提升系統之瑕疵辨識率。 4. 針對感光元件之封裝級玻璃高精度定位之部分，採用影像金字塔來降低運算資料量，

並使用模板比對來進行封裝級玻璃高精度定位，達到快速及高效率之感光元件封裝級

玻璃高精度定位之需求。 5. 針對感光元件之封裝級玻璃瑕疵分割之部分，以光阻區與非光阻區來進行開發適合地

瑕疵特徵分割之影像處理演算法，其中非光阻區瑕疵又可分為高對比度(亮點、暗點、刮傷)與低對比度(溶液殘留)之瑕疵，由本計畫所提出之演算法，可以準確地進行感光元件封裝級玻璃瑕疵分割，達到精確瑕疵特徵分割之目的。

6. 針對感光元件之封裝級玻璃瑕疵辨識分類之部分，藉由有效地瑕疵特徵分析，來進行後續支持向量機所需輸入的瑕疵特徵選取，並利用支持向量機來進行分割，其具有少

訓練樣本及可達到高辨識精度之功能，且瑕疵分割之關係容易可清楚以方程式進行表

達，讓使用者可清楚的得知瑕疵分割線之關係，有別於以往瑕疵辨識大多使用類神經

網路來進行分類，但無法瞭解實際分割時內部參數運算或規則。且此分類結果也進行

支持向量機與類神經網路之比較，可得知支持向量機用於感光元件之封裝級玻璃瑕疵

的適用性。 藉由上述之感光元件封裝級玻璃瑕疵檢驗及高精度定位系統之技術特點說明，可得知

本計畫所開發之系統，具備目前廠商對於感光元件封裝級玻璃瑕疵檢驗之需求，進而提升

產業競爭力。

可利用之產業及可開發之產品： 本計畫所開發的相關技術可用於其他不同檢測物件上之自動化光學檢測系統開發，下

列將針對不同技術來說明可利用之產品種類： 亮度校正：

可用於自動化光學檢測、三維量測技術等有使用到相機與光源處，來進行亮度校正，

避免因亮度不均導致檢測或量測誤差發生之情形。 影像定位：

可用於影像中檢測物件位置(如：LED 晶粒影像等)與自動化組裝(如：機械手臂進行自動組裝等)時影像物件之定位。

瑕疵特徵分割： 可用於自動化光學檢測瑕疵特徵分割，且也可針對低對比對與高對比度之瑕疵分

割，其應用面可用於透明物件或偏光膜等薄膜類之檢測物件上。 瑕疵辨識分類：

可用於自動化光學檢測瑕疵辨識分類上，尤其為針對瑕疵樣本少之產品，可利用少

樣本進行訓練即可達到高辨識分類度之特性，提升瑕疵辨識分類之需求。

國科會補助計畫衍生研發成果推廣資料表日期:2013/01/03

國科會補助計畫

計畫名稱: 感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統之開發與研製

計畫主持人: 郭中豐

計畫編號: 101-2622-E-011-020-CC3 學門領域: 光電與能源高分子

研發成果名稱(中文) 感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統之開發與研製

(英文)

成果歸屬機構國立臺灣科技大學 發明人

(創作人)

郭中豐

技術說明

(中文) 本計畫擬使用側向光源以突顯玻璃蓋片瑕疵特徵結合影像擷取器擷取玻璃蓋片影

像，運用影像金字塔降低影像資訊量及正規化相關係數法模板比對來進行玻璃標

記點之定位，再使用適應性三分Gamma校正法提高影像對比度搭配最近配對門檻

值決定法來突顯其瑕疵特徵並進行瑕疵影像分割，結合模糊支持向量機來進行玻

璃蓋片瑕疵分類辨識 (刮傷、暗點、溶液殘留、崩邊以及光阻殘缺)，最後，結

合電腦人機控制介面、影像擷取設備、光源設備及電控系統，以達到感光元件之

封裝級玻璃定位及瑕疵檢測系統軟硬體整合之自動化檢測目的，本計畫預計能達

到1) 感光元件之封裝級玻璃定位誤差10 以下且定位處理時間為1秒內，2) 感光

元件之封裝級玻璃瑕疵辨識率達95%以上(5 以上瑕疵)且辨識處理時間為1.5秒內。

本計畫不僅可提升相關產品之產品良率及降低生產成本，亦可有助提升相關產業

之發展。

(英文) This project plans to use lateral light sources to highlight glass cover defective features and the image capturer to capture the glass cover image. Image pyramid is used to reduce the image information amount and normalize the correlation coefficient method template matching for the positioning of glass markings before using the adaptive one-third Gamma correction method to enhance image contrast. Coupled with the recent matching threshold value determination method, the defective features are highlighted and the defective images are segmented. The fuzzy support vector machine is employed for the glass cover defects classified recognition. Finally, by combining computer human machine control interface, image capture equipment, light source equipment and electric control system, the purpose of the integrated automatic inspection of sensor package-level glass positioning and defect detection system is realized.

產業別 光學及精密器械製造業

技術/產品應用範圍 自動化光學檢測

技術移轉可行性及

預期效益

可全部技術轉移並有效提升產業競爭力

註：本項研發成果若尚未申請專利，請勿揭露可申請專利之主要內容。

101年度專題研究計畫研究成果彙整表

計畫主持人：郭中豐 計畫編號：101-2622-E-011-020-CC3 計畫名稱：感光元件之封裝級玻璃瑕疵檢驗及高精度定位系統之開發與研製

量化

成果項目 實際已達成數（被接受

或已發表）

預期總達成數(含實際已達成數)

本計畫實

際貢獻百分比

單位

備 註 （ 質 化 說

明：如數個計畫共同成果、成果列 為 該 期 刊 之封 面 故 事 ...等）

期刊論文 0 0 100% 研究報告/技術報告 1 1 100% 研討會論文 0 0 100%

篇

論文著作

專書 0 0 100% 申請中件數 0 0 100%

專利 已獲得件數 0 0 100%

件

件數 1 1 100% 件 技術移轉

權利金 80000 80000 100% 千元

碩士生 5 1 100% 博士生 2 1 100% 博士後研究員 0 0 100%

國內

參與計畫人力 （本國籍）

專任助理 0 0 100%

人次

期刊論文 1 1 100% 研究報告/技術報告 0 0 100% 研討會論文 0 0 100%

篇

論文著作

專書 0 0 100% 章/本 申請中件數 0 0 100%

專利 已獲得件數 0 0 100%

件

件數 0 0 100% 件 技術移轉

權利金 0 0 100% 千元 碩士生 0 0 100% 博士生 0 0 100% 博士後研究員 0 0 100%

國外

參與計畫人力 （外國籍）

專任助理 0 0 100%

人次

其他成果 (無法以量化表達之成果如辦理學術活動、獲得獎項、重要國際合作、研究成果國際影響力及其他協助產業技術發展之具體效益事項等，請以文字敘述填列。)

無

成果項目 量化 名稱或內容性質簡述 測驗工具(含質性與量性) 0 課程/模組 0 電腦及網路系統或工具 0 教材 0 舉辦之活動/競賽 0 研討會/工作坊 0 電子報、網站 0

科 教 處 計 畫 加 填 項 目 計畫成果推廣之參與（閱聽）人數 0

本產學合作計畫研發成果及績效達成情形自評表

成果項目 本產學合作計畫預估研究成果及績效指標

（作為本計畫後續管考之參據） 計畫達成情形

技術移轉 預計技轉授權 1 項 完成技轉授權 1 項

國內 預估 1 件 提出申請 0 件，獲得 0 件 專利

國外 預估 1 件 提出申請 0 件，獲得 0 件

博士 1人，畢業任職於業界1人 博士 0人，畢業任職於業界0人

碩士 1人，畢業任職於業界1人 碩士 2人，畢業任職於業界1人 人才培育

其他 1人，畢業任職於業界1人 其他 0人，畢業任職於業界0人

期刊論文 1 件 發表期刊論文 0 件

研討會論文 1 件 發表研討會論文 0 件

SCI論文 1 件 發表SCI論文 0 件

專書 1 件 完成專書 0 件

國內

技術報告 1 件 完成技術報告 1 件

期刊論文 1 件 發表期刊論文 0 件

學術論文 1 件 發表學術論文 0 件

研討會論文 1 件 發表研討會論文 0 件

SCI/SSCI論文 1 件 發表SCI/SSCI論文 1 件

專書 1 件 完成專書 0 件

論文著作

國外

技術報告 1 件 完成技術報告 0 件

其他協助產業發展

之具體績效 新公司或衍生公司 1 家 設立新公司或衍生公司(名稱)：

計畫產出成果簡

述：請以文字敘述

計畫非量化產出之

技術應用具體效

益。（限 600字以內）