NTT技術ジャーナル　2017.624

corevo®が切り拓く新たなサービス創造

背　景

毎日使っている洗濯機から，ガタガタといういつもと違う音がし始めて動かなくなってしまった，冷蔵庫がいつになく唸っていると，それから数週間後に故障して使えなくなってしまった，といった経験は誰もが一度は覚えがあるのではないでしょうか．家電製品だけでなく，工場の製造機器，ビルの空調設備などでも，音を手掛かりに保守 ・ メンテナンスが実施されているものもあります．近年では，作業員による異常の発見に代わるものとして，各種センサを用いて機器の稼動を監視し，異常を検知するサービスもみられるようになってきました．本稿では，機械の動作音を手掛かりに，機器の動作が正常か異常かを自動で判定するシステムの実現に向けた取り組みを紹介します．

異常音の自動検知の難しさ

音を手掛かりとして機器の異常を検知する際の難しさは，まず第一に異常音（異常な動作をしている機器の動作音）の収集が困難なことにあります．昨今，ディープニューラルネットワーク（DNN）に代表されるような機械学習が目覚ましく進歩していることも

あり，正常状態と異常状態の機器の動作音を大量に収集して，判別結果の正解率を最大化するように判別ルールを学習するという方法が考えられます．ところが，実環境では機器が故障する頻度は非常に低く，かつ，壊れ方も多種多様であるため，大量の異常状態の機器動作音を収集することは現実的ではありません．ゆえに，機器の異常を音から検知する目的に，このアプローチの採用は困難でした．

第二に騒音への対応も課題です．音を手掛かりに機器の異常状態が検知できるようになれば，工場などの製造現場は主要な導入先の 1 つになります．ところが，製造工場のような環境は，異常を検知したい機器の他に数多くの機械が動作しており，これらから発せられるすべての音が，検知したい音の収集を妨害する騒音となります．このような工場では，騒音が非常に大きく，一方で，検知したい機器の動作音自体は，それほど大きくない場合があります．音を手掛かりに機器の異常を検知しようとした際，この騒音への対応も必要となります．

次に，「機器の異常動作状態の音が容易に収集できない」「大きな騒音の中で機器の動作音を観測する必要がある」という 2 つの課題を解決した成果

の概要と，この成果を実際の工場などで使った場合の異常音検知の実例を紹介します．

正常稼動音のみを学習データとする「異常音検知技術」

音による異常の検知に，従来の機械学習のアプローチを適用することが難しい点は，前述のとおりです．さらに，検知対象の機器の設置環境，壊れ方などにより，一口に異常状態の音といっても，さまざまな異常音が発生する可能性があります．判別ルールを学習する方法では，そのすべての異常音を集めて学習させる必要があり，ますます現実的ではなくなります．

そこで，異常状態の音を集めずに，正常な稼動状態の音だけを使う方針を採用しました．これは，正常な稼動音のみを使って学習した音響特徴量の

“正常音らしさ”と，正常 ・ 異常を判定したい音の音響特徴量を比較し，正常音らしさからの乖離を計算し，ある一定以上の割合で乖離している場合に異常状態の音であると判定するという考え方です．このような考え方を基に，正常な稼動音の“正常音らしさ”を高くするような音響特徴量をDNNで抽出する方法を考案しました（1）．

この方法では，判定したい音の音響

異常音検知 深層学習 音響特徴量

動作音から機器の異常を検知する異常音検知技術

近年IoT（Internet of Things）をキーワードとしたビジネスが盛んになってきており，さまざまなセンサから情報を収集して機器の状態分析・異常の検出に役立てるということが行われています．本稿では特に，特殊なセンサが設置できないような環境でも利用しやすい「マイクロホン」（音の情報）を活用して，機器の動作音から異常を検知する「異常音検知技術」について紹介します．

植うえまつ

松 　尚ひさし

/小こいずみ

泉 悠ゆ う ま

馬

齊さいとう

藤 翔しょういちろう

一郎 /中なかがわ

川 　朗あきら

原は ら だ

田 　登のぼる

NTTメディアインテリジェンス研究所

NTT技術ジャーナル　2017.6 25

特集

特徴量が，正常音のそれと同じか違うかを判別しているだけなので，異常音の種類によらないという利点があります．一方，この方法が判別しているのは，正常音と同じか違うかのみとなります．厳密な意味で異常を検知しているわけではなく，“通常と異なる音が発生している”ことを検知するにとどまりますが，異常な音の発生を検知できれば，その後の対処のためのシステムにつなぐことが可能になるでしょう．

周囲雑音抑圧技術

異常音検知は，製造工場などで利用されることも想定されます．ところが，

このような場所では，正常 ・ 異常を検知したい機器のほかにも多数の機器が稼動しており，検知したい機器の動作音に加えて，あらゆる方向から到来する他の機器の動作音が雑音として重畳してしまいます．正常動作時の稼動音のみを学習して異常を検知するアルゴリズムは，検知したい機器の動作音がクリアに集音できて初めて使えるものです．

理論上は，集音用マイクに入った音の波形から，すべての雑音源から発せられる音の波形を引き算すれば，目的とする機器の動作音のみが残ることになります．これは，雑音源から集音用

マイクまでの伝達特性などを求めることで実現できます．ただし，雑音源は複数あり，それぞれの伝達特性は，各雑音源からマイクまでの距離や，部屋の形状などさまざまな要因によって変化するため，個々の雑音源の伝達特性を正確に計算することは難しい問題です．

この課題に対応するために，まず，多数の雑音源を個々に扱うのではなく，複数の雑音源をまとめて 1 つの

「雑音源群」として扱うというモデル化をしました．つまり，個々の雑音源からの伝達特性を求めるのではなく，まとめて 1 つの伝達特性として近似します．検知したい機器と集音用マイクの距離に比べて，各雑音源までの距離は十分遠いとみなすことができるので，この近似が成り立ちます．次に，この伝達特性を厳密に計算するのではなく「時間差」と「スペクトルの変化量」だけを推定します．このように，厳密に計算すると解析不可能な伝達特性を，「時間差」と「スペクトルの変化量」だけを推定することで解析可能とし，騒音環境下での異常音検知が可能になりました．

実環境での異常音検知実験

これまで紹介してきた手法で，実環境において異常な音が検知できるかを

「送風ポンプ」「₃Dプリンタ」「給水ポンプ」の ₃ つの機器を対象に実験を行いました．

（1）　送風ポンプ実験に利用した送風ポンプの全体像

とマイクロホンの配置位置，およびポンプの拡大図を図 ₁ に示します．マイクロホンは，ポンプに隣接するポールに貼り付けて配置しています．まず，2₀分間の送風ポンプの正常動作音を用いて“正常音らしさ”を事前学習します．送風ポンプの実験結果を図 ₂ に

（a）　全体像とマイクロホンの配置位置マイクロホン

（b）　ポンプの拡大図

図 1 　送風ポンプ

時間

振幅

周波数

音響特徴量

異常度

（s）

（d）　異常度

（c）　提案法により抽出された音響特徴量

（b）　スペクトログラム

（a）　観測波形

102030

－0.50

0.5

100200300

02468（kHz）

0 2 4 6 8 10

0 2 4 6 8 10

0 2 4 6 8 10

0 2 4 6 8 10

0

図 2 　送風ポンプの異常音検知結果

NTT技術ジャーナル　2017.626

corevo®が切り拓く新たなサービス創造

示します．観測波形，スペクトログラムを見ると， ₅ 秒付近にその前後とは明らかに違う波形が存在しているのが分かります（図 2（a）,（b））．これは，異物が送風ダクトに混入して，詰まりが発生した際の音であったことが分かっています．この詰まりが発生した時間帯の音響特徴量（図 2（c））にも特徴的な変化が見られ，異常度（図 2（d））を見ても，異物が詰まったことに由来する異常音の存在を検知できていることが分かります．今回，異常音の発生理由は，常時，送風ポンプの動作を人手によって観測していたので把握できましたが，実環境の現場では，すべてのポンプを常時観測することは現実的ではなく，本手法のように，自動で異常状態を検知できるようになれば，稼動やコストの面などさまざまなメリットが期待できます．

（2）　₃Dプリンタ実験に利用した光造形方式の₃D プ

リンタを図 ₃ に示します．動作音を収録するためのマイクロホンは，₃Dプリンタの筐体内部（図 ₃ 中の黄色枠で囲った部分）に配置しました．“正常らしさ”を学習するためのデータは，₃₀分間の正常動作音を利用しました．

実験結果を図 ₄ に示すように，先の送風ポンプの場合とは異なり，音の観測波形（図 ₄（a））やスペクトログラム（図 ₄（b））では，表示しているすべての時間にわたって変化が見られず，これらの情報からは異常状態は判別できません．一方，今回考案した方法によって抽出された音響特徴量（図₄（c））や，この特徴量に基づいて算出された異常度（図 ₄（d））は，₄₃秒付近（図中の赤枠で囲ってある部分）に特異な変化が観測されます．この結果は，₄₃秒付近で通常動作では発生しない音が観測されており，何かしらの異

常が起きていたことを示唆するものと考えることができます．実際に，この₃Dプリンタはこの約 ₅ 分後に異常停止しました．さらに，他の観測結果から，この₄₃秒付近でスイーパと造形物が衝突するという通常ではない動作となっていたことが分かりました．この結果の例のように，音の波形データやスペクトログラムといった分析では異常音の存在が明確に見つけられない場合でも，本手法を利用することで，異常な音の存在を明確にすることが可能になりました．

（3）　給水ポンプ最後に，ビル設備である給水ポンプ

への適用例を示します．給水ポンプが設置されている機械室では周囲にさまざまな機械が雑音を発しており，対象の給水ポンプの動作音は，この雑音に埋もれているような環境です．そこで本実験では，マイクロホンを図 ₅ のように配置しました．

これまでに紹介した送風ポンプや₃Dプリンタの例では，正常な稼動音の途中で突発的な異常音が発生する例でしたが，この給水ポンプでは，ベアリングのキズに起因した異常音が継続

時間

振幅

周波数

音響特徴量

異常度

（s）

（d）　異常度

（c）　提案法により抽出された音響特徴量

（b）　スペクトログラム

（a）　観測波形

（kHz）

40

－0.5

0

0.5

02468

5

10

15

0

50

100

150

0 10 20 30 50 60

図 4 　3Dプリンタの異常音検知結果

（a）　全体像 （b）　マイクロホンの配置位置

図 3 　3Dプリンタ

NTT技術ジャーナル　2017.6 27

特集

して発生している状態でした．そこで，正常らしさを学習するための音データは，隣に設置されていた正常動作状態の同型同種の給水ポンプの音を利用しています．

実験結果を図 ₆ に示します．図では，₆₀秒分の正常稼動状態の個体の音を前半に，異常状態の個体の音を後半

の₆₀秒分に並べて表示しています．観測波形（図 ₆（a））やスペクトログラム（図 ₆（b））では，正常稼動時（前半部分）と異常時（後半部分）に大きな違いは見られず，これらの情報からのみでは，正常，異常の判定は困難です．一方，音響特徴量（図 ₆（c））と異常度（図 ₆（d））は，明らかに前半

部分と後半部分の傾向が異なっており，動作状態が異なっていることが示されています．この結果から，本技術を用いることで，送風ポンプや₃Dプリンタのような突発的な異常音だけでなく，継時的に発生している異常音も検知できることが分かりました．

今後の展開

これまで紹介した異常音検知の技術は，原則として，素人が騒音などに邪魔されない環境で聞き比べたときに異常だと分かる音であれば，自動で異常を検知できるものとなっています．今後は，その道数十年のベテラン検査技師が聴かないと検知できないような異常音や，人間では検知できない異常音までも検知できるように，アルゴリズムを発展させていきたいと考えています．

■参考文献（1） 小泉 ・ 齊藤 ・ 植松：“深層学習を用いた機器

動作音の異常音検知，”日本音響学会2₀1₇年春季研究発表会， pp.₄₇₃-₄₇₆， 2₀1₇.

時間

振幅

周波数

音響特徴量

異常度

（s）

（d）　異常度

（c）　提案法により抽出された音響特徴量

（b）　スペクトログラム

（a）　観測波形

（kHz）

前半60秒が正常動作中の給水ポンプの動作音，後半60秒が異常動作中の給水ポンプの動作音

02468

－0.50

0.5

51015

0

500

1000

0 20 40 60 80 100 120

0 20 40 60 80 100 120

0 20 40 60 80 100 120

0 20 40 60 80 100 120

図 6 　給水ポンプの異常音検知結果

実験条件

16 m

マイクロホン （CH.1）

雑音源28 m

雑音源1

マイクロホン（CH.3）

マイクロホン（CH.2）

マイクロホン（CH.1）

10 m

マイクロホン（学習音用）

3.5 m

図 5 　給水ポンプとマイクの配置図

（左から） 齊藤 翔一郎/ 植松 　尚/ 原田 　登/ 小泉　悠馬/ 中川 　朗

普段何気なく聞き流している音を「信号」として処理することは，実はそれほど簡単ではないことが多々あります．音の扱いに困ったときは，いつでも相談してください．

◆問い合わせ先NTTメディアインテリジェンス研究所 クロスメディアプロジェクトTEL 046-859-2430FAX 046-855-3495E-mail　uematsu.hisashi lab.ntt.co.jp