2016/11/18 1

實現「機械眼」技術ー農業機械之人體偵測案例ー

（國研）產業技術總合研究所智能系統研究部門電腦視覺研究小組

主任研究員 岩田 健司

大綱�關於產總研�影像處理基礎技術的開發

�3D感測�意涵理解�平台

�推廣至社會需求�農業機械無人駕駛所需的人員檢測技術

�結語

2016/11/18 2

332016/11/18

北海道工業技術研究所東北工業技術研究所產業技術融合領域研究所計量研究所機械技術研究所物質工學工業技術研究所生命工學工業技術研究所電子技術總合研究所地質調查所資源環境技術總合研究所名古屋工業技術研究所大阪工業技術研究所中國工業技術研究所四國工業技術研究所九州工業技術研究所計量教習所（通產省）

通商產業省

工業技術院

國立研究開發法人

產業技術總合研究所

關於產總研產業技術總合研究所成立於1882年，前身為農商務省地質調查所的政府研究機構。

2001年，與隸屬於通商產業省工業技術院旗下的15個研究所及計量教習所整合重編，以國立研究開發法人的身份展開活動。

Copyright © National Institute of Advanced Industrial Science and Technology (AIST). All rights reserved.

智能系統研究部門

人工智能研究中心

針對人員從事的各種知識活動或物理操作提供支援或代為執行的智能資訊處理及機器人學・機電整合系統相關技術研發

成立於2015年5月，目的在於成為人工智能及其相鄰領域研究者的核心，以及促進產業界與學界合作，以擴大成果應用。

能源、環境領域創能源研究部門 太陽能發電研究中心電池技術研究部門 再生能源研究中心節能研究部門 先進功率電子研究中心環境管理研究部門安全科學研究部門

生命工程領域製藥基礎研究部門 製藥分子分析研究中心生物醫學研究部門健康工程研究部門生物製程研究部門

資訊、人體工學領域資訊技術研究部門 汽車人因工程研究中心人體資訊研究部門 機器人創新研究中心智能系統研究部門 人工智能研究中心

材料、化學領域機能化學研究部門 觸媒化學融合研究中心化學製程研究部門 奈米管實用化研究中心奈米材料研究部門 機能材料計算設計研究中心無機機能材料研究部門 磁性粉末冶金研究中心結構材料研究部門

電子製造領域奈米電子研究部門 自旋電子學（Spintronics）研究中心電子光技術研究部門 軟性電子研究中心製造技術研究部門 先進被覆技術研究中心

積體微系統研究中心

地質調查綜合中心

活斷層、火山研究部門地圈資源環境研究部門地質資訊研究部門地質資訊基盤中心

計量標準綜合中心

工程計測標準研究部門物理計測標準研究部門物質計測標準研究部門分析計測標準研究部門計量標準普及中心

網路 醫療金融安全

流通服務設計

產業機器人汽車（無人駕駛）

氣象資訊技術文獻分類基礎建設管理 創投企業

應用領域範例

切割（Carveout）受託研究 等

實用化、創投創業、顧問諮詢等

探索潛在需求及選擇機動性的研發課題

企劃小組

創業技術移轉等

自然語言處理

行動資料探勘

最佳計畫 影像、動畫辨識

影像、音響辨識

自行創造知識的腦型人工智能

由龐大資料中篩選出知識的資料、知識融合型人工智能

海馬模型 大腦皮質模型基底核模型 知識模型 機率關係

模型

貝氏網路

由日本國內外大學、研究機構等延攬頂尖人才所組成的研究小組（客座研究員、複審制度（Cross-appointment）、輔助研究制度）

在社會、事業上的適用（企業、創投企業、公共部門）

預測、推薦

適用對象的需求探索

感測 意涵理解

校正、影像復原、3D復原

影像特徵、機械學習

平台判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など

Lavatube

雲端／單機（Stand-alone）計算環境

安全・安心

次世代智能監視系統

醫療

病理檢查輔助

社會需求環境

影像處理基礎技術的開發

衛星影像解析系統

農業

農業自動化

異

常

行

動

檢

測

中

意涵理解

影像特徵、機械學習

平台判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など

Lavatube

雲端／單機（Stand-alone）計算環境

安全・安心

次世代智能監視系統

醫療

病理檢查輔助

社會需求環境

影像處理基礎技術的開發

衛星影像解析系統

農業

農業自動化

異

常

行

動

檢

測

中

感測

校正、影像復原、3D復原

免手持攝影（位置姿勢

變化複雜）

強健性（Robust）姿勢推估

利用精密堆疊生成的3D模型

3D地圖製作

(�, �, �, �, �, �)

推估3D位置姿勢

多種RGB-D校正

即時偏移校正

周圍即時3D資訊

感測

校正、影像復原、3D復原

平台判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など

Lavatube

雲端／單機（Stand-alone）計算環境

安全・安心

次世代智能監視系統

醫療

病理檢查輔助

社會需求環境

影像處理基礎技術的開發

衛星影像解析系統

農業

農業自動化

異

常

行

動

檢

測

中

意涵理解

影像特徵、機械學習

異

常

行

動

檢

測

中

利用CHLAC的異常行動檢測技術

相機影像

落差影像

異常值圖表

CHLAC值

獨立行政法人 產業技術總合研究所

2值CHLAC 251次元的結構0 t h 1 s t 2 n d 合計1 13 237 251

1與HLAC相同特徵複 雜 形 狀 2 0形狀(線分) 41

No.1

動作方向 x8

x

y

t

動作有無 1

動 作 9

採CHLAC追加後的特徵

1

1 1 1

No.2 No.31 1

1 1

No.4 No.5

1 1

1 1 1 1 1 1 1 1 1 1 1

1 1

No.6 No.10 No.14 No.18 No.22

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

No.7 No.11 No.15 No.19 No.23

1 1 1 1

1 1 1 1 1 1 1

1 1 1 1

No.8 No.12 No.16 No.20 No.24

1 1 1 1

1 1 1 1 1 1 1

1 1 1 1

No.9 No.13 No.17 No.21 No.25

25

226

複 雜 動 作 8 9

方向變化8x7=56

加速x8

連續 等速x8

減速x8

形 狀 變 化 1 2 8

由累積貢獻率構成通常部分空間

異常檢測� 何謂「異常」？・・・不易定義、學習

�「與一般不同，不普通」（廣辭苑）�偏離「通常」即稱為「異常」．

� 利用CHLAC特徵的主成分分析，構成通常部分空間．� 以與通常部分空間的偏離程度為基準，檢測出異常．

∑

∑

=

== M

i i

K

i iK

1

1

λλ

η通常動作

通常部分空間

異常動作

異常值d^

q^

由通常動作的特徵向量求出變異數共變異數矩陣

求出固有值、固有向量 ( )Mdiag λλ ,,1 L=A

[ ]MU uu ,,1 L=

異常值為與通常部分空間正交補空間的距離 xP⊥⊥ =d

感測 意涵理解

校正、影像復原、3D復原

影像特徵、機械學習

雲端／單機（Stand-alone）計算環境

安全・安心

次世代智能監視系統

醫療

病理檢查輔助

社會需求環境

影像處理基礎技術的開發

衛星影像解析系統

農業

農業自動化

異

常

行

動

檢

測

中

平台判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など

Lavatube

感測 意涵理解

校正、影像復原、3D復原

影像特徵、機械學習

平台判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など判別入力 前処理 特徴抽出

色変換、 ２ 値化、

差分処理など

Lavatube

雲端／單機（Stand-alone）計算環境

影像處理基礎技術的開發

異

常

行

動

檢

測

中

安全・安心

次世代智能監視系統

醫療

病理檢查輔助

社會需求環境

衛星影像解析系統

農業

農業自動化

病理影像診斷

2016/11/18 16

0

5

10

15

20

1 101 201 301 401

異常

非癌細胞 癌細胞

正常非癌細胞影像範例 癌細胞影像範例

核

細胞質

背景

衛星影像解析� 檢測土地變化的影像解析系統

� 可一次完整實施衛星影像搜尋・取得、檢測變化・可視化� 三陸地區的震災復原狀況

�防波堤重建及高台建造地等

2016/11/18 17

2011年6月

2012年6月Lavatube2的影像解析系統

檢測變化

衛星資料搜尋

衛星影像的取得

結果可視化

位置比對

變化檢測結果

SIP 次世代農水產業創造計畫

2016/11/18 18

農業機械自動化技術的高度化

由多個定位衛星取得的穩定定位訊號支援天頂附近多個GNSS的修正訊號

以多種作業為前提的結合機器人作業系統

資訊共享相互結合

資訊共享相互結合

由農作物中檢測出人員資訊共享相互結合

標準區塊 大區塊農場

標準區塊用多機器人作業系統

作業操作員作業操作員

大區塊農場用多機器人作業系統

連續操作

（分散・連續操作30～90a）

利用農場的攝影機進行人員檢測� 必須採用人員檢測技術以預防人員與農業機械的碰撞事故� 人體部分會受到農作物遮蔽而不易察見

2016/11/18 19

同時改良 輸入系統 及 辨識系統 加以解決

人員檢測手法

＋

以高精度檢測出農場內的人員

Deep Learning

導入在一般物體辨識上已大幅改善性能的手法

辨識系統的改良

Convolutional Neural Network(CNN)

透過再對焦處理除去前景，降低遮蔽的影響

Light Field Sensing輸入系統的改良

人員檢測手法

＋

以高精度檢測出農場內的人員

Deep Learning

導入在一般物體辨識上已大幅改善性能的手法

辨識系統的改良

Convolutional Neural Network(CNN)

透過再對焦處理除去前景，降低遮蔽的影響

Light Field Sensing輸入系統的改良

Light Field Sensing輸入系統的改良

透過再對焦處理除去前景，降低遮蔽的影響

再對焦處理� 各攝影機取得些許偏移的影像� 將縫隙間可見部分合成後，清除前景，後方的

人物即逐漸浮現

2016/11/18

世界座標上的任意點 × 代表各攝影機上各有些許偏離的位置世界座標上的任意點 × 代表各攝影機上各有些許偏離的位置

將焦點統一於此處，合成8張影像

各攝影機的位移量：

單眼相機單眼相機 再對焦再對焦

Convolutional Neural Network(CNN)

人員檢測手法

＋

以高精度檢測出農場內的人員

Deep Learning

導入在一般物體辨識上已大幅改善性能的手法

辨識系統的改良

透過再對焦處理除去前景，降低遮蔽的影響

Light Field Sensing輸入系統的改良

Deep Learning� 學習深度神經網路的手法急速

發展中。� 在特定問題上甚至已達成超越

人員的辨識精度。

2016/11/18 24

大規模物體辨識競賽 ILSVRC2012 中的 Deep Learning 性能

0.1

0.15

0.2

0.25

0.3

0.35

トロント大東大オックスフォード大INRIAアムステルダム大

傳統技術

Deep Learning

大規模資料活用衝擊

1000類別、百萬張大規模影像資料組

利用Pre-trained Network的辨識� Deep Learning學習過程中需要大量的資料組（數萬張以

上），數量龐大難以完整取得。� 利用大量自然影像學習的網路，是由「觀察」的普遍性特徵

篩選器所構成。� 有別於最終段的全結合層（FC），改採其他識別器（SVM

等），即使僅採用少量資料亦可實現高性能識別。

2016/11/18 25

Input

Co

nv

Poo

l

Co

nv

Co

nvPo

ol

Co

nv

Co

nv

Co

nv

Poo

l

Co

nv

Co

nv

Poo

l

Co

nv

Co

nv

Poo

l

FC FC FCCo

nv

Co

nv

Co

nv

VGG Net（CNN種類之一）

利用大規模影像資料組進行網路的事前學習

SVM

一般物體辨識

農場中的人員檢測

農場影像資料組製作目的識別器

Softm

ax

實驗結果

單眼相機 再對焦

VGGNet 0.89 0.93

AlexNet 0.86 0.86

HOG(16) 0.67 0.78

HOG(32) 0.61 0.72

HOG(64) 0.57 0.71輸入系統改良後的效果

辨識系統改良後的效果

DeepLearning

傳統法在中央農研的水田中取得資料

在傳統法誤判的場合亦可正確檢測 失敗大多為未拍攝到人員的場合

結語

�同時研發感測、意涵理解技術，做為影像處理基礎技術。

�設計、開發出影像解析中繼軟體Lavatube，做為技術移轉平台

�農業機械用途的應用案例�感測：Light Field Sensing�意涵理解：Deep Learning

2016/11/18 27