画像判定ソリューションのご紹介Š€術の進歩による課題解決....

© Hitachi Solutions, Ltd. 2019. All rights reserved.

株式会社日立ソリューションズ

画像判定ソリューションのご紹介機械学習による画像の検査/判定の自動化提案

※本資料中の会社名、商品名、ロゴは各社の商標、または登録商標です。

© Hitachi Solutions, Ltd. 2019. All rights reserved. 1

１. 検査・判定プロセスの課題

人が目視で作業確認など行っていませんか？また、以下のような課題を抱えられてはいませんか？

不良品流出が心配

検査人員が不足人が集まらない生産性をあげたいベテラン検査員が

退職した… 検査レポートの作成が大変

虚報率が高い

画像処理のノウハウがない

市販のシステムは金額が高い

自社の部品・画像に対応できる？

画像が変わると再度開発しないと…

あいまいな検査項目で自動化

できない性能が心配

人によって判定にばらつきがある

検査自動化して人員の再配置を

考えたい 24時間の監視が必要


関連技術が進化しています。

2

２. 技術の進歩による課題解決

★画像処理ライブラリの進化

様々なアルゴリズムが日々進歩

(現在も論文発表あり)OSSなど様々なツールで

検証・評価が可能

★機械学習技術の進化

ビッグデータにより精度の高い学習・判定を

実現機械学習技術が発展

★高性能コンピュータの進化

CPU性能の向上GPGPU(※1)の用途拡大

画像処理の時間短縮ビッグデータ処理高速化

画像による外観検査画像の判定業務

自動化が可能

ただし…画像処理/機械学習は

ノウハウが重要

※1 GPGPU：グラフィック処理装置の多目的コンピューティング。(General-purpose computing on graphics processing unitsの略称)GPUの演算資源を画像処理以外の目的に応用する技術のこと。


３. ソリューションの基本コンセプト

3

その目視でチェックしている作業。自動化できませんか？

カメラで撮影し、画像で判定しましょう！


お客様の画像の特徴、判定の対象エリア、検査の項目、判定の基準などにあわせて、精度の高い結果を得る最適な画像処理と学習方法、再学習プロセスを提案いたします。

デジタルカメラ開発や自動車の物体認識機能など組込みソフト開発で培った技術、ITシステム構築やビッグデータ解析などで蓄積した機械学習技術、これらを組み合わせて、お客様がお持ちの課題を解決する提案をいたします。

4

４. ソリューションのご提案

画像処理(前処理)

最適な画像加工ができるアルゴリズム、ツールを選定

機械学習(ＡＩ)

最適な機械学習手法Deep Learning技術の選定Ｚｚｚｚｚｚｚｚｚｚ

ｚｚｚｚｚｚｚｚｚｚｚｚｚｚ

判定処理検出閾値設定異常判定チェック

etc・・・

○データ分析特徴量の統計解析

可視化ツールによるAI判断分析

システムSIカメラ選定、システム・インフラ構築、アプリケーション開発などSI作業も含めて実施


対象画像判定基準判定精度

上記の提供をお願いします。

画像や判定基準からアルゴリズム、学習手法を決定

します。

システム開発は以下の流れで行っていきます。開発前に事前検証・実証実験を行い、検出/判定精度を確認します。

5

5. プロジェクトの作業プロセス(PoCベース)

対象システムや検査装置などにあわせて画像判定処理およびシステムを構築し

ます。

※検査装置やハードウェアの開発は含みません。

検証結果のご報告

トライアルで運用し、誤判定データや問題を抽出。

追加学習、アルゴリズム、閾値の調整を実施します。

システム稼動開始

継続して再学習するなどで、誤判定を改善します。

保守

プロジェクト終了

目標到達

アルゴリズム再検証

事前検証(Proof of Concept) プロトタイプ開発試験運用

(Proof of Value)


精密機器向けに作成した部品の外観上のキズ、汚れなどを検出するシステムです。外観異常のパターンごとに適切な判定器を作成し、適用させることで精度を向上させます。

精密機器部品の外観検査

6

６-１. 提案事例の紹介(顧客：精密機器製造)

ヒストグラムによるカラー判定

CNNによる形状判定

キズ判定 = OKカラー判定 = OK形状判定でOK > 60%

正常と判定

2値化による検査対称面の抽出

カスケード分類器によるキズ検出

※ Softmaxニューラルネットワークの出力を確率に変換して出力する層

softmax

部品の画像

© Hitachi Solutions, Ltd. 2019. All rights reserved. 7

６-２. 提案事例の紹介(顧客：自動車部品製造)

配線ケーブルコネクタの不良検出画像前処理と機械学習を活用し、画像の特徴を出した上で機械学習ツールにより不良品の判定を学習します。1方向の画像からでは判断できない場合、複数方向の画像を組み合わせて判定を行います。最終段の判定をプログラミング又は機械学習で行い精度をさらに向上させます。

コネクタ画像(上方向)

それぞれCNNで学習

softmax


コネクタ画像(横方向)


softmax

OK確率

NG確率

OK確率

NG確率

判定プログラム又は

機械学習


製品の異常個所を学習し、異常種別の判定結果を確率で出力します。画像検査装置を導入しているが、異物や汚れなどの分類までは既存装置で判断できないた

め、人手で再検査を実施中。CNNで判定確率を出力することで、該当箇所が何かを判断します。

8

６-３. 提案事例の紹介(顧客：自動車部品製造)

異物画像

汚れ画像

キズ画像

打痕画像

CNNで学習判定結果は確率で出力

softmax

異物画像確率

汚れ画像確率

キズ画像確率

打痕画像確率


自動車部品の異常分類

画像の判定確率を出力

入力した画像と判定確率の相関を確認します。


設計の参考にするため、過去の類似図面の検索などを実施する場合、画像どうしの検索を効率よく実施。Deep Learning技術を利用して、図面の画像データからハッシュ値を取得。検索対象図面のハッシュ値に近いものを検索することで、図面レベルでの類似検索を実現。

9

６-４. 提案事例の紹介(顧客：製造業)

類似設計図面の検索システム

設計図面

部品図面

11000000111

Hash data

binaries

登録済みHash data

11000000111

01011000001

11000000101

CNNで特徴量を抽出

特徴量をハッシュ値として出力

ハッシュ値を比較、近いものを類似画像と出力

設計図面または部品図面を画像データとして入力

CNN（SSDH技術）

類似画像


定点カメラで各作業員の動作(モーションキャプチャ)を取得し、ベテラン作業員の動きと各自の差を定量的に観測。機械学習により、今までに気が付かなかった動作などを明示し、気づきを与えることができます。(ベテラン作業員の生産性を動画解析により見える化)

10

６-５. 提案事例の紹介(顧客：金属製造)

モーションキャプチャによる生産性向上支援

ベテラン作業員

ビギナー作業員

定点カメラ

画像処理モーション

キャプチャ取得

機械学習クラスタリング⇒ベイジアンネットワークによる

因果分析

測位点ごとに移動量などを数値化頭： xx cm手首： xx cm腰： xx cm

・特徴的な差異を抽出し、ビギナー作業員の生産性を改善・人の見解にはない観点を示し、ノウハウとして蓄積


データセンタ内で稼働中のサーバが正常動作しているか、LEDやブレーカの状態を目視チェックしていますが、これをAR技術、機械学習、画像処理により自動判定。検査員が現場で対象箇所を見るだけでチェックを実施。サーバにエビデンスを保存。

データセンタの設備状況チェック

11

６-６. 提案事例の紹介(顧客：通信・IT)

指示１.参考例のようにサーバを撮影してください

機械学習による物体検出(LED識別)

点検結果.対象認識点検結果電源LEDステータスLED

作業手順サーバアプリケーション

オフィス

撮影画像点検対象

OK

OKOK

画像判定・ヒストグラムによる

色情報取得・フレーム毎処理による

点滅判定

結果の判定電源LED：赤点灯

ステータスLED：緑点滅

正常：赤点灯

正常：緑点滅

フィールド

スマートグラス/スマートフォン上に

手順を投影

次のチェック対象サーバを指示


画像処理(モザイク処理)

公道などで撮影した画像/動画データから人物を検出し、モザイク処理を実施します。個人情報につながる不要な情報をマスクするとともに、検出結果をデータ化し保存します。物体検出アルゴリズムにDeep Learning技術を活用し、高速に検知を行います。

人物検出およびモザイク処理

12

６-７. 提案事例の紹介(顧客：通信系)

位置座標

YOLO技術


データ解析用サーバ

13

６-８. 入出庫業務改善事例

業務課題

入出庫ダンボールのラベルを全数目視で確認。

業務効率を改善したい。カメラによるラベル撮影

解決手法

Object Detection技術

現場でダンボールを撮影

システムイメージ

画像認識AIでラベル有無を確認し、設備の制御を実施

検出したいラベルを事前学習したAI

設備の制御

ラベルチェック作業の自動化により、単純作業の工数低減、チェック漏れの抑止が可能


データ解析用サーバ

14

６-9. 危険行動監視事例

業務課題

業務における危険行動の監視を実施しアラームを出し

たい。監視カメラによる撮影

解決手法

Object Detection技術＋判定プログラム


監視の自動化により、品質の向上および怪我などの低減を実現(監視員のチェック工数削減)

監視装置

映像出力フレーム取得

事前学習したAIを利用

作業員

台車

DeepLearningオブジェクト検知危険行動判定プログラム

危険行動チェック

フォークリフト

パトランプでアラーム出力別システムへの

通知

© Hitachi Solutions, Ltd. 2019. All rights reserved.15

６-１0. 帳票業務改善事例

業務課題

帳票の仕分けだけで精一杯。細かい種別の分類は人に

頼っている

解決手法

Classification技術＋画像処理技術


細かい点まで見て、仕分けを自動化することで、仕分け業務を自動化。生産性向上


HamburgerH

スキャンデータ(伝票など)

数百～数千種類

帳票種別を学習したAI

・エッジ強調・台形補正・傾き補正

など

画像補正プログラム

各自のフォルダへ移動


(ご参考) Deep Learningを実現する推奨動作環境

16

ハードウェア CPU Corei7-6950X(3.0GHz,20thread)メモリ 32GBストレージ SSD256GB,HDD1TBGPU NVIDIAGeForceGTX1080Ti（11GB)

OS Windows / Ubuntuを想定ソフトウェア Python

TensorFlow または Keras

パソコンの必要スペックはタクトタイムや画像数量などによって変動するため、以下は参考例とさせてください。技術検証などの作業が完了後に必要なスペックを試算し、ご提示いたします。

※参考情報・画像処理を多用する場合はCPUのスペックがよいものが望ましいです。CPUのコア数/クロック数の多いもの。メモリサイズが多いのが望ましいです。

・深層学習(Deep Learning)を実施する場合はGPUのスペックが影響します。GPUのメモリサイズにとどまらず、GPU自体を複数枚準備するなど発生します。

・生産数量が多い場合や保存したい画像数が大量の場合はHDDの容量を多く準備する必要があります。・CPUで深層学習を行うことも可能ですが、1枚の画像に対して数秒の処理時間がかかります。GPUの場合は数十msです。

© Hitachi Solutions, Ltd. 2019. All rights reserved.17

(ご参考) 使用技術の例

＃項目説明1 画

像処理

(

前処理)

フィルタメディアン、ガウシリアン、ラプラシアンなどのフィルタを画像にかけ、2値化処理などの前処理を行う

2 FFT フーリエ変換を行い、特定の周波数帯域を除去します。逆フーリエ変換を行うことで特徴を抽出した画像を作成

3 ヒストグラム特定の色情報(例：明度)で、出現数をグラフ化します。(0-255の数値で表現)

4

画像処理

(

領域抽出)

２値化マスク背景と対象物の分離を行う手法の1つ。背景と対象物を白/黒の2値で表現し、対象物と背景の画像を分離させる

5 背景差分現在画像と元画像の差を取ることで、変化があった場所や、物体を検出します。

6 線/円/コーナー検出画像中に存在する線、円、コーナーを検出します。

7 エッジ検出各種エッジ検出アルゴリズムを用いて、画像の輪郭などを検出します。

8 グラフカット前景部分の抽出を行います

9 KLTトラッカー指定した画像エリアの特徴をトラッキング

10

機械学習

CNN Convolution Neural Network(畳み込みニューラルネットワーク)の略。脳の神経回路網(ニューラルネットワーク)を複数つないで学習・判断を行うもの。Deep Learningの1種

11 R-CNN Region based CNNの略。CNNの前処理としてSelective Searchなどの画像検出アルゴリズムを利用することで、特定の物体の存在を検出するアルゴリズム。

12 深層強化学習状態から行動を決める方策（Policy）や，状態や行動の価値を予測する価値をニューラルネットで表現し，そのパラメータを学習していく手法のこと

13 カスケード分類器検出したい画像の特徴を学習し、学習した画像と類似性があるか判定を行うアルゴリズムの1種。

14 SVM/1classSVM Support Vector Machineの略。学習サンプルから2クラスに分類するための識別アルゴリズム。1-class SVMは特定のデータ分類(1種類) だけで学習を行い、分類器を作成する。

15 GAN Generative Adversarial Networkの略。生成モデル型の機械学習。事前に学習した画像から類似の新しいデータを生成する機械学習モデル。

16 SSDH Supervised Semantics-preserving Deep Hashing model 画像データのハッシュ値をDeep Learning技術を用いて取得する技術

17 YOLO You Only Look Onceの略。リアルタイムでの物体検知を可能にしたアルゴリズムで40-90FPSでの動作も可能

画像判定ソリューションのご紹介Š€術の進歩による課題解決....

Documents

Transcript of 画像判定ソリューションのご紹介Š€術の進歩による課題解決....