第 23 章 類神經網路
description
Transcript of 第 23 章 類神經網路
企業研究方法第 23章
第 23 章 類神經網路
本章的學習主題 1. 類神經網路的基本概念2. 類神經網路之應用3. 倒傳遞類神經網路4. 類神經網路之運算注意事項5. 類神經網路 STATISTICA 軟體操作範例說明
1
企業研究方法第 23章
23.1 類神經網路的基本概念
一種計算系統,包括軟體與硬體,它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬,它從外界環境或者其它人工類神經元取得資訊,並加以運算,再輸出其結果到外界環境或者其它人工神經元。
2
企業研究方法第 23章
23.1 類神經網路的基本概念
神經節
神經樹 神經核
神經軸
fj neti Yj
處理單元淨值
輸出訊號
轉換函數
閥值
連結加權值
輸入訊號
X1X2...Xi...Xn
Wij
3
圖 23 - 1 生物神經網路結構 圖 23 - 2 人工神經元結構
企業研究方法第 23章
23.1 類神經網路的基本概念
輸出層
隱藏層
輸入層
4
圖 23 - 3 簡單的類神經網路
企業研究方法第 23章
23.1 類神經網路的基本概念
一、類神經網路的分類 ( 一 ) 依學習策略分類
1. 監督式學習網路 (supervised learning
network)
2. 無監督式學習網路 (unsupervised learning
network)
3. 聯想式學習網路 (associate learning network)
4. 最適化應用網路 (optimization application
network)5
企業研究方法第 23章
23.1 類神經網路的基本概念
輸出層
隱藏層
輸入層
6
( 二 ) 依網路架構分類1. 向前式架構:神經網路由神經元分層排列,形成輸
入層、隱藏層、輸出層。每一層只接受前一層的輸出作為輸入,稱前向式架構。
圖 23 - 4 前向式架構
企業研究方法第 23章
23.1 類神經網路的基本概念
2. 回饋式架構:即輸出層神經元的資訊回饋到輸入層,或層內各神經元間有連結者,或神經元不分層排列,只有一層,各神經元均可相互連結者稱回饋式架構。
7
圖 23 - 5 回饋式架構
企業研究方法第 23章
23.1 類神經網路的基本概念
二、類神經網路運作範例類神經網路的運作範例大致上分為三種:( 一 ) 訓練範例
1. 監督式訓練範例:由代表範例特徵的輸入變數資料,與代範例預測或分類的目標輸出變數資料共同組成。
2. 無監督式訓練範例:由代表範例特徵的輸入變 數資料組成。
3. 聯想式訓練範例:由代表範例特徵的狀態變數資料組成,該變數值既是輸入亦是輸出,以替代方式決定變數值。
8
未學習網路 + 訓練範例 + 學習演算 已學習網路加權值
加權值
企業研究方法第 23章
23.1 類神經網路的基本概念
( 二 ) 測試範例測試範例為評估已學習網路之學習效果所使用的範例,其形式與
訓練範例相同。該範例只使用回想演算法得到推論輸出值,之後與目標輸出值比較,以評估網路學習的精確度。
( 三 ) 待推案例網路學習完後,可用網路推論待推案例的結果。待推案例沒有目
標輸出變數資料。網路根據待推案例之輸入變數資料,透過回想演算法,推論出輸出值。
9
已學習網路 + 測試範例 + 回想演算法 已學習網路評估
精度
已學習網路 + 待推案例 + 回想演算法 待推案例推論
推論輸出值
企業研究方法第 23章
23.1 類神經網路的基本概念
三、類神經網路的基本架構
類神經網路的基本架構可分三個層次:
( 一 ) 處理單元的作用可用三個函數來說明
( 二 ) 層 (layer)
( 三 ) 網路 (network)
10
企業研究方法第 23章
23.1 類神經網路的基本概念
1. 集成函數 (summation function) :將輸入變數 資料或前一層神經元之輸出與連接加權值加以 綜合,即 I = f (W, X) 。常用的函數包括加權乘 積和與歐氏距離等。
2. 作用函數 (activity function) :將集成函數值與 神經元狀態加以綜合,通常是直接使用集成函 數輸出,即 netjn = Ijn
11
( 一 ) 處理單元的作用可用三個函數來說明
企業研究方法第 23章12
3. 轉換函數 (transfer function) :將作用函數輸出值 轉換成處理單元輸出,即 Yj = f (netj) 。常用函數 包括硬限函數、線性函數與非線性數函數。
23.1 類神經網路的基本概念
企業研究方法第 23章
23.1 類神經網路的基本概念
( 二 ) 層 (layer)
若干個具有相同作用的處理單元集合成「層」。層本身有三個作用:
1. 正規化輸出:將同層中的處理單元的原始輸出值加以正規化,作為「層」的輸出。
2. 競爭化輸出:在同層的所有處理單元之原始輸出值中,選擇一個或數個最強值的處理單元,令其值為 1 ,其餘為 0後,再作為「層」的輸出。
3. 競爭化學習 :在同層的所有處理單元之原始輸出值中,選擇一個或數個最強值的處理單元,網路將只調整與該單元相連的下層網路連結。
13
企業研究方法第 23章
23.1 類神經網路的基本概念
( 三 ) 網路 (network)
網路本身有兩種作用:1. 學習過程 (learning) :從範例中學習,以調整網路連接
加權值的過程。2. 回想過程 (recalling) :以輸入資料決定網路輸出資料的
過程。
14
企業研究方法第 23章
23.2 類神經網路之應用
類神經網路的應用極為廣泛,在工業與工程方面的應用包含工業與工程資料分析、工業與工程故障診斷、工業與工程決策諮詢、工業與工程製程監控、工業與工程最適化問題求解。
在商業與金融方面的應用包括商業決策、商業預測、商業分析;在科學與資訊方面的應用包括醫學疾病診斷、醫學影像診斷、氣象預測、化學儀器分析解釋、複雜現象映射與模式化、感測資料分類、軍事目標追蹤、犯罪行為聚類分析、性向測驗分析、資料庫聯想搜尋、電腦輔助教學、電腦音樂、專家系統等。
15
企業研究方法第 23章
23.2 類神經網路之應用
網路架構學習策略 向前式架構 回饋式架構
監督式學習
認知機倒傳遞網路 (BPN)
機率神經網路 (PNN)
學習向量量化網路 (LVQ)
反傳遞網路 (CPN)
波茲曼機 (BM)
時空樣本識別網路 (STPR)
新認知機 (也可作無監督式學習 )
無監督式學習 自組織映射圖 (SOM) 自適應共振理論 (ART)
聯想式學習霍普菲爾網路 (HNN)
雙向聯想記憶網路 ( BAM)
最適化應用霍普菲爾—坦克網路 (HTN)
退火神經網路 (ANN)
16
表 23 - 1 類神經網路架構模式
企業研究方法第 23章
23.3 倒傳遞類神經網路
倒傳遞網路是應用一個訓練範例的一輸入值向量 X ,與一目標輸出向量 T,修正網路加權值W ,而達到學習的目的。基本原理是利用最陡坡降法的觀念,將誤差函數予以最小化。
17
• 誤差函數
–Tj= 輸出層目標輸出值 –Aj= 輸出層推論輸出值
j
jj ATE 2)(2
1
企業研究方法第 23章
一、網路架構輸入層:輸入變數資料,該層處理單元數目依問題而定。處
理單元之轉換函數為線性函數,亦即 f(x)=x 。
隱藏層:表現輸入層處理單元間的交互影響。處理單元之轉換函數為非線性函數。
輸出層:輸出變數,該層處理單元數目依問題而定。處理單元之轉換函數為非線性函數。
18
)1(
1)(
xexf
倒傳遞網路在隱藏層與輸出層之非線性轉換函數,最常使用雙彎曲函數,即
23.3 倒傳遞類神經網路
企業研究方法第 23章
23.3 倒傳遞類神經網路
19
圖 23 - 6 倒傳遞類神經網路模型
輸出層
隱藏層
輸入層
輸 出 向 量
輸 入 向 量
企業研究方法第 23章
23.4 類神經網路運算注意事項
資料的準備—樣本數
20
• 若樣本數接近所需估計的權重數時,就會產生過度配適(over-fitting) 的情形,使模型失去通則性(generalizability) 。
• 樣本數應為 5 至 10倍的連結權重數。
• 連結權重數未知時:
– 樣本數則為輸入變數數目的平方值
– 樣本數≧ c×( 輸入變數數目×輸出變數數目 )
• 隨機分配樣本為訓練樣本與測試樣本
企業研究方法第 23章
23.4 類神經網路運算注意事項
資料的準備—檢視資料
21
• 輸入變數應使用計量資料:對於非計量變數值應
重新編碼。
• 極端值應被仔細地考慮甚至刪除。
• 變數標準化。
企業研究方法第 23章
23.4 類神經網路運算注意事項
22
定義模型架構• 隱藏層層數
– 一般問題可取一層隱藏層,較複雜的問題則取二層隱藏層。
• 隱藏層處理單元數目 – ( 輸入層單元數 + 輸出層單元數 )/2
– ( 輸入層單元數 * 輸出層單元數 )1/2
– 若問題複雜度較高,隱藏層單元數目宜多。 – 若測試範例之誤差值遠高於訓練範例之誤差值,則隱
藏層單元數目應減少,反之,則應增加。
企業研究方法第 23章
23.4 類神經網路運算注意事項
23
模型估計
• 在網路的訓練過程中,訓練範例與測試範例的誤差值均會逐漸降低,但若測試範例的誤差停止下降,甚至開始上升時,則表示有過度訓練的情形發生,因此研究者應在測試範例之誤差上升前即停止訓練。
企業研究方法第 23章
23.4 類神經網路運算注意事項
24
評估模型結果
• 評估模型包括評估輸出變數的預測或分類水準。在預測的問題上,通常使用誤差均方根來評估模型;在分類的問題中,可利用分類矩陣 (classification
matrix) 來計算出個案被正確分類的機率是多少。
企業研究方法第 23章
23.4 類神經網路運算注意事項
25
模型效度
• 最後一步是要確認所找到的解是整體最適且要盡可能的一般化。研究者應該使用不同的處理單元數目去測試,以確定不可能再達到更好的解。
企業研究方法第 23章
模型之評估指標
26
誤差均方根 (RMSE)
絕對誤差平均 (MAD)
絕對百分比誤差平均(MAPE)
誤差平均 (ME)
S. D. Ratio
R2 1 - (S. D. Ratio)
n
e 2
ne
nAe
ne
d
eS
S
企業研究方法第 23章
23.4 類神經網路運算注意事項
六、使用類神經網路之優缺點
27
• 類神經網路的能力可處理複雜的關係,特別是非線性的關係。
• 預測及分類。• 無法針對輸入變數的相對重要性以及變數間的相關提供解釋。
企業研究方法第 23章28
範 例
從屬動機(AFM)
認同基礎(IDT)
資訊基礎(IFT)
與公司分享(KS_CO)
與會員分享(KS_KS)
能力(AB)
成就動機(ACM)
權力動機(PM)
隱藏層 1
隱藏層 2
隱藏層 3
隱藏層 4
隱藏層 5
行為意圖(BI)
企業研究方法第 23章29
範例結果—類神經網路權重 H1 H2 H3 H4 H5
Threshold -0.5708 -1.0318 -0.2104 0.1838 0.5564從屬動機 (AFM) 1.0144 -0.8577 -0.5338 0.7152 0.0135權力動機 (PM) -0.0691 -0.3014 -0.6934 -0.6048 0.0231成就動機 (ACM) -0.8043 0.6255 0.9140 -0.6311 -0.9096能力 (AB) 0.7037 0.1983 -0.6980 -0.9401 0.7491與公司分享 (KS_CO) 0.8147 -0.1990 -0.3247 0.6751 -0.7579與會員分享 (KS_KS) -0.2836 -0.1314 0.7024 0.2659 0.9349資訊基礎 (IFT) 0.6626 0.7198 -0.9963 -0.5894 0.0337認同基礎 (IDT) -0.8966 0.4535 -0.5187 0.4382 -1.0227
隱藏層處理單元 行為意圖 (BI)H1 0.4850H2 -0.3958H3 -0.6878H4 -0.8250H5 0.6034
企業研究方法第 23章30
範例結果—各輸入變數之重要程序排序
AFM PM ACM AB KS_CO KS_KS IFT IDT
訓練範例 7 4 3 2 5 8 1 6
測試範例 6 4 2 3 7 8 1 5
由敏感度分析可得知,影響「行為意圖 (BI) 」最重要的變數為「資訊基礎 (IFT) 」與「能力 (AB) 」,次要變數為「與會員分享 (KS_KS) 」。
企業研究方法第 23章31
範例結果—模式之評估
評估指標 計算方式 類神經網路
誤差均方根 (RMSE) 0.646
絕對誤差平均 (MAD) 46.26%
絕對百分比誤差平均 (MAPE) 10.62%
誤差平均 (ME) 0.082
S. D. Ratio 0.619
R2 1- (S. D. Ratio)
0.381
註 1: e=目標輸出值 (T)-推論輸出值 (A) 。
註 2: n 為樣本數。
註 3: Sd 表樣本資料之標準差; Se 表誤差之標準差
n
e 2
ne
nAe
ne
d
eS
S