プロが解説！Hinemosによる運用管理テクニック

株式会社アトミテック

プロが解説！ Hinemos による運用管理テクニッ

ク！2016 年 11 月 05 日

吉永圭佑

2

自己紹介・弊社の紹介Hinemos とはHinemos のお問い合わせ事例紹介Hinemos へのジョブ移行時のポイント

（ソリューション紹介）

アジェンダ

Copyright (c) 2015 Atomitech Inc.

3

自己紹介・弊社の紹介


吉永圭佑 ( よしながけいすけ )1991 年 11 月 13 日生まれ趣味

絵を描くこと歌を歌うこと

所属株式会社アトミテック Hinemos ソリューション部

日々の主な業務Hinemos 保守対応

自己紹介

Copyright (c) 2015 Atomitech Inc.4

株式会社アトミテック2004 年 7 月 1 日設立

Hinemos に関わる主なサービスHinemos 保守サービスHinemos を用いた運用管理システムの構築支援各種商用運用管理ツールから Hinemos への移行

Hinemos の提供製品ミドルウェア監視用スクリプトUbuntu 版 HinemosNTT データ開発有償機能StartUp ガイド中国語版 Hinemos

弊社の紹介


Hinemos とは


システム運用管理で要求される各種機能を備えた、　「統合運用管理ソフトウェア」

Hinemos とは

監視ジョブ環境構築

複雑化するシステムを、 Hinemos で統合運用管理

一元管理

物理環境仮想化環境ネットワーク機器類



『必要な機能を、シンプルで使いやすい操作性と共に、安価で提供する』

Hinemos の特徴・コンセプト

物理環境仮想化環境

日本製 OSS

シンプルな操作性

→GUI アプリケーションならではの、柔軟な操作性→ システム全体をグループ毎に俯瞰的に管理可能→ 運用現場に応じた、 GUI のカスタマイズも容易

充実の機能

→ 日本の運用管理ニーズに必要な機能を厳選→ 日本語インタフェース、ドキュメント、保守サポート提供→OSS として、安価に導入が可能

→ 監視・ジョブの両方をワンパッケージで提供→ 環境構築機能や、クラウド管理機能を完備→ 本体機能に加え、オプション製品でニーズを先取り

8

多種多様な環境を Hinemos で一元管理可能

対応プラットフォーム

物理環境仮想化環境ネットワーク機器類

OSRed Hat Enterprise LinuxCentOSOracle LinuxWindowsSolarisHP-UXAIX

ハイパーバイザ

VMware ESXiKVMXenServerHyper-VOracle VM

その他

ネットワーク機器アプライアンス製品

クラウドAmazon Web ServicesMicrosoft AzureCloudn


http://wiki.centos.org/ArtWork/Logo/Type?action=AttachFile&do=get&target=f-2c-a-517.png

Hinemos は、以下の３つのコンポーネントから構成

Hinemos 基本構成

運用管理サーバ（ Hinemos マネージャ）Hinemos の運用管理機能を提供するサーバ。各種設定内容を保持し、設定された監視機能やジョブ管理機能の実行を指示します。また、監視結果やジョブ実行結果を内部 DB に蓄積します。

設定追加・変更結果の表示

稼動監視ジョブ実行指示環境構築指示ログ・トラップ送信

運用管理端末 (Hinemos クライアント ) -> リッチクライアント -> Web クライアントオペレータが操作する統合コンソール端末。監視やジョブ、環境構築設定の登録や、監視状況の把握、ジョブや環境構築操作の実行状況把握など、システムの稼働状況・運用状況を表示します。

管理対象システム　（ Hinemosエージェント）Hinemos の管理対象となる IT 機器。専用エージェントを導入しなくても、大半の監視機能が使用できます。専用エージェントを導入することにより、すべての機能が使用できます。

管理 DB


Hinemos のお問い合わせ事例紹介


Hinemos 保守サポートとは？

お問い合わせ対応障害調査修正モジュールの提供等


Hinemos 保守サポートお問い合わせ分類


2015年

10月

2015年

11月

2015年

12月

2016年

01月

2016年

02月

2016年

03月

2016年

04月

2016年

05月

2016年

06月

2016年

07月

2016年

08月

2016年

09月

0

20

40

60

80

100

120

140

160

180

68 68 72 75

101 99

70

100 107 88

120

97

47 31

40 30

45 64

55

77 71

40

53

42

障害仕様

年間約 1500件以上

1. Hinemos Web クライアントのサービスの起動が遅延する2. リソース監視の結果で情報ステータスと不明ステータスが繰り返し出力される3. カーネルモードで動作するプロセスの監視4. Hinemos メンテナンス機能について5. Javaヒープメモリに関する HinemosInternalエラーが出力された6. Hinemos クライアントから Hinemos マネージャにログインできるがビューが表示されない7. システムログ監視の結果の通知に遅延があった8. システムログ監視で監視漏れが発生した9. ジョブの実行に 30秒かかる？10.環境構築機能にて登録可能なファイルサイズについて11.ジョブの判定対象の時刻が機能しない12.終了遅延の “ 26:00:00” と “ 2:00:00” の違い13.Hinemosエージェントレスで可能な監視について14.Hinemos マネージャ接続におけるプロキシ中継について15.プロキシを経由した HTTP 監視の方法は？16.rsyslog_hinemos.conf のコメントアウト箇所の意味17.Hinemos マネージャからエージェントが認識されていない事象について18.Windows サービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか19.Hinemos 履歴保管期間変更について20.メンテナンス設定の作成が行えない21.イベントログ名はあっているはずなのに Windows イベントログが監視できない22.Hinemos のプロセスを監視したい23.カレンダ機能の登録上限は？

Hinemos トラブルシューティングの事例一覧 ( 一部 )


カーネルモードで動作するプロセスの監視

事象Linux のカーネルモードで動作するプロセスが監視できない

原因　 net-snmp の仕様　カーネルモードで動作するプロセスは、

”hrSWRunPath” を一律“<exited>“ という文字列で返す。

-> コマンド ( パス ) を判別することができず、　カーネルモードのプロセスを監視することができない。


カーネルモードで動作するプロセスの監視

仕組みHinemos のプロセス監視は、原則として、SNMP ポーリングで取得した値と監視設定で指定した値を比較し、一致した場合にプロセスが存在するものと判定する。

対処　カスタム監視を用いる

対象プロセス数をカウントするコマンドを実行して監視# echo -n "NumOfProcs_kthreadd,";ps -ef|grep kthreadd|grep -v grep|wc –l


SNMP で取得した” hrSWRunPath” の値　　　　⇔　監視対象プロセスのコマンドSNMP で取得した” hrSWRunParameters” の値　⇔　監視対象プロセスのコマンド引数

Hinemos メンテナンス機能について

事象ジョブ履歴が 10万件越え、警告メッセージを検知したので、メンテナンス機能でジョブ履歴削除を行ったが、失敗した。

原因　一度に削除する履歴件数が多い

マネージャの内部 DB に対する、ジョブ実行履歴削除のための SQL文の実行に時間がかかっている。-> Hinemos マネージャが内部 DB と通信する際にソケットタイムアウトが発生。　これにより内部 DB との通信が強制的に切断。


Hinemos メンテナンス機能について

対処　徐々にジョブ履歴を削除する

例えば、

保存期間　 31 日　→　 30 日　 (1回目 )保存期間　 30 日　→　 29 日　 (2回目 ) : (途中省略 )保存期間　 12 日　→　 11 日　 (*回目 )保存期間　 11 日　→　 10 日　 (*回目 )

保存期間　 31 日　→　 10 日


一度に 21 日分の履歴情報を削除→ タイムアウトが発生

一度に削除するのは 1 日分→ タイムアウトは発生しない

システムログ監視の結果の通知に遅延があった

事象システムログ監視の結果で「出力日時」と「受信日時」に差があり、通知に遅延が発生している。

原因瞬間的に大量 (※) の syslog が Hinemos マネージャに転送-> システムログ監視のパターマッチ処理に遅れがでてしまった。※ 環境によるが、この事例の場合は 10分間に 10000件

対処(1)通知の遅延が発生した時間帯に転送されている syslog の流量を減らす。

※ rsyslog.conf の設定で、転送量を抑制するなど。

(2) システムログ監視やそのフィルタの件数を見直す。

(3)当該監視設定の通知設定を見直す。19 Copyright (c) 2015 Atomitech Inc.


システムログ監視で監視漏れが発生した

事象監視対象サーバでは、システムログが出力されたが、システムログ監視にて検知できず、通知もされなかった。マネージャサーバの /var/log/messages に、次のメッセージが出力されていた。

原因複数の監視対象サーバから syslog が転送されたことによって、 rsyslog の TCP最大接続数を超えてしまった。

<syslog.err> rsyslogd-2079: too many tcp sessions – dropping incomingrequest

20


システムログ監視で監視漏れが発生した

対処(1) 監視対象サーバ側で、 Hinemos マネージャへの TCP による　 syslog転送を行わない。　 -> 514/TCP から 514/UDP へ変更する。

(2) マネージャサーバ側で、 rsyslog の TCP セッション上限数を増やす　 -> rsyslog_hinemos.conf を編集し、セッション数を増やす。

21

$InputTCPMaxSessions 1000

*.info;mail.none;authpriv.none;cron.none @@{ManagerIP}:514

　 ↓*.info;mail.none;authpriv.none;cron.none @{ManagerIP}:514

ジョブの実行に 30秒かかる？

事象コマンド ( スクリプト ) の処理自体は一瞬で完了するはずが、ジョブを開始してから終了するまでに 30秒かかってしまう。

原因(1)即時反映用ポート ( デフォルトで 24005/UDP) が不通となっている。または、(2) Hinemosエージェントサーバで他のプロセスが 24005/UDP ポートを使用中


【補足】ジョブの実行の仕組み


ジョブ実行時のマネージャとエージェント間の通信

①ジョブ実行指示情報を、マネージャ内部の topic に格納

②ジョブ実行対象ノードの IP アドレスの即時反映用ポート(24005番 )　　に UDP パケットを送信

③UDP パケットを受信したエージェントは、 Web/API経由で　マネージャの topic からジョブ実行指示情報を取得する。

④エージェントはコマンドを実行し、結果を Web/API経由で　マネージャに送信

⑤マネージャは実行結果を元に次のジョブ制御を実施

23

【補足】今回の事象の場合


ジョブ実行時のマネージャとエージェント間の通信

①ジョブ実行指示情報を、マネージャ内部の topic に格納

②ジョブ実行対象ノードの IP アドレスの即時反映用ポート(24005番 )　　に UDP パケットを送信

③UDP パケットを受信できなかった

④エージェントはコマンドを実行し、結果を Web/API経由でマネージャに送信

⑤マネージャは実行結果を元に次のジョブ制御を実施

即時反映ポート (24005番 ) が不通または、使用中

Hinemosエージェントは、定期的 (30秒間隔 ) に Web/API経由でマネージャの topic にジョブ実行指示情報が格納されていないか確認

格納されている場合は取得

24


ジョブの判定対象の時刻が機能しない

事例ジョブの待ち条件を次のように設定した。しかし、想定通りに動作しない。

設定者の想定したジョブフロー07/28 23:55 にジョブネット A が実行開始　　↓07/29 00:10 にジョブ B が実行　　↓07/29 06:00 にジョブ C が実行

しかし、 23:55 にジョブネット A が実行されたところ、ジョブ B 、ジョブ Cも 23:55 に実行されてしまった。

ジョブネット・ジョブの設定 23:55：ジョブネット A の実行 ( ジョブスケジュール ) 00:10：ジョブネット A の中にあるジョブ B の実行 (待ち条件の時刻判定 ) 06:00：ジョブネット A の中にあるジョブ C の実行 (待ち条件の時刻判定 )

25


ジョブの判定対象の時刻が機能しない

対処設定者の想定どおりにジョブ B とジョブ C を実行するには以下のように設定の変更が必要

・ジョブ B の待ち条件 ( 時刻 )： 00:10:00・ジョブ C の待ち条件 ( 時刻 )： 06:00:00

　

・ジョブ B の待ち条件 ( 時刻 )： 24:10:00・ジョブ C の待ち条件 ( 時刻 )： 30:00:00

26

待ち条件 ( 時刻 ) は、以下の式を満たした場合にジョブ ( ジョブネット ) が実行される。

ジョブセッション開始日 + 待ち条件の時刻 ≦ 現在時刻

例 ) ジョブネット A の実行時間が「 2016/7/28 23： 55 」の場合・ジョブ B 待ち条件 ( 時刻 ) の判定式： 2016/7/28 0:10 <= 現在時刻 (2016/7/28 23:55)

・ジョブ C 待ち条件 ( 時刻 ) の判定式： 2016/7/28 6:00 <= 現在時刻 (2016/7/28 23:55)

23:55

7/29 0:007/28 0:00

06:000:10 0:10 06:00理想のジョブ B 実行時間

理想のジョブ C 実行時間


終了遅延の “ 26:00:00” と “ 2:00:00” の違い

質問次のように設定した場合、終了遅延判定の動作に違いはあるか。　終了遅延に“ 26:00:00” と設定した場合　終了遅延に“ 02:00:00" と設定した場合

回答例えば、 2016/09/29 23:00:00 にジョブを開始。

・ジョブの終了遅延「時刻」が“ 26:00:00” の場合　ジョブセッション開始日“ 2016/09/29” の” 26:00:00”　 -> “2016/09/30 02:00:00” 以降に発動

・ジョブの終了遅延「時刻」が“ 02:00:00” の場合　ジョブセッション開始日“ 2016/09/29” の” 02:00:00”　現在時刻 ( ジョブ開始時刻 ) は” 23:00:00” でこれを超えている　 -> “2016/09/29 23:00:00“ に発動　

27

ジョブの終了遅延監視の時刻判定の条件は、以下の式に基づいている

ジョブセッション開始日 + 終了遅延監視に設定した時刻 ≦ 現在日時

上記の式が満たされた場合、終了遅延監視の条件が満たされたものを判定


Hinemosエージェントレスで可能な監視について

質問Hinemosエージェントをインストールしていない監視対象には、どの監視が行えるのか？

回答

28

機能 Linux Windows NW 機器Hinemosエージェント監視 × × -HTTP 監視 ○ ○ ○リソース監視 ○ ○ ○PING 監視 ○ ○ ○サービス・ポート監視 ○ ○ ○プロセス監視 ○ ○ -SNMP 監視 ○ ○ ○SQL 監視 ○ ○ ○システムログ監視 ○ - ○ログファイル監視 × × ×カスタム監視 × × ×SNMPTRAP 監視 ○ ○ ○Windows サービス監視 - ○ -Windows イベント監視 - × -

Hinemos マネージャ接続におけるプロキシ中継について

質問Hinemos の通信をプロキシサーバ経由としたい場合、必要な設定は？

回答Hinemos マネージャについては設定不要。Hinemosエージェント、 Hinemos クライアントでそれぞれ以下の設定が必要。

・ HTTP Proxy サーバの IP アドレス及びホスト名

・ HTTP Proxy サーバの待ち受けポート

・ HTTP Proxy サーバの認証ユーザ

・ HTTP Proxy サーバの認証パスワード

29 Copyright (c) 2015 Atomitech Inc.

プロキシを経由した HTTP 監視の方法は？

質問 HTTP 監視を行う際、プロキシを経由した監視は実施可能か。

回答Hinemos ver4.1 では、 HTTP 監視で HTTP リクエストを行う際に、

プロキシサーバを経由するよう設定することができない。

Hinemos ver5.0 では、新たに HTTP 監視 ( シナリオ ) という監視種別が追加され、プロキシサーバを経由した HTTP 監視が可能。



Hinemos マネージャからエージェントが認識されていない事象について事例

リポジトリに登録した一部のノードの Hinemosエージェントが、リポジトリ [エージェント ] ビューに表示されていない。リポジトリ [ノード ] ビュー上には、当該ノードは表示されている。

原因(1)Hinemosエージェントサーバから Hinemos マネージャサーバに

対して、 8080/TCP の通信が行えるようになっていない

(2)Hinemosエージェントが自身のファシリティ ID を解決できていない。

31


Hinemos マネージャからエージェントが認識されていない事象について対処　 (1)Hinemosエージェントサーバから Hinemos マネージャサーバに　　対して、 8080/TCP の通信が行えるようになっているか確認する　　 (F/W等で通信がブロックされていないかなど )

　 (2)Hinemosエージェントは、自身のホスト名と IP アドレスを元に Hinemos マネージャに問い合わせ、自身のファシリティ ID を解決　・条件 1 [ホスト名 ]　　以下の 2 つが一致　　・ノードプロパティの“サーバ基本情報 – OS –ノード名”　　・対象サーバのホスト名 (hostname コマンドで表示されるホスト名 )　　　・条件 2 [IP アドレス ]　　以下の 2 つが一致　　・ノードプロパティの“サーバ基本情報 - ネットワーク - IP アドレス”　　・対象サーバの ( 実際の )IP アドレス

32

対処　 (1)Hinemosエージェントサーバから Hinemos マネージャサーバに　　対して、 8080/TCP の通信が行えるようになっているか確認する　　 (F/W等で通信がブロックされていないかなど )

　 (2)Hinemosエージェントは、自身のホスト名と IP アドレスを元に Hinemos マネージャに問い合わせ、自身のファシリティ ID を解決　・条件 1 [ホスト名 ]　　以下の 2 つが一致　　・ノードプロパティの“サーバ基本情報 – OS –ノード名”　　・対象サーバのホスト名 (hostname コマンドで表示されるホスト名 )　　　・条件 2 [IP アドレス ]　　以下の 2 つが一致　　・ノードプロパティの“サーバ基本情報 - ネットワーク - IP アドレス”　　・対象サーバの ( 実際の )IP アドレス


Hinemos マネージャからエージェントが認識されていない事象について

33


Windows サービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか

質問Windows サービス監視で監視したいサービス名に半角空白を含むものを設定したい。正常に監視は可能か。

　例：「 hoge hoge 」

回答監視可能。

サービス名に半角空白を含むWindows サービスを指定する場合も、

正常に監視を行うことができる。サービス名を指定する際、サービス名全体をクォートで囲む必要はない。

34


Hinemos 履歴保管期間変更について

質問メンテナンス機能の定期的なジョブ実行履歴やイベント履歴の削除で、履歴情報の保管期間はデフォルトで 30 日だが、 93 日などに増やすことは可能か。増やした結果、 Hinemos の動作に影響はあるか。

回答保存期間を増やすことが可能。

ただし、保存期間を延長する場合は、延長した分だけ Hinemos マネージャサーバのディスク使用容量が増加する。

35

Hinemos のマネージャ、エージェントの起動状態を監視したい

質問Hinemos のプロセス監視で、以下の点について知るための設定内容を教えて欲しい (1)(2)また、 Windows サービス監視でエージェントの起動状態を確認する設定を教えて欲しい (3)(1)Linux に導入する Hinemos Manager のプロセス名とプロセス数(2)Linux に導入する Hinemos Agent のプロセス名とプロセス数(3)Windows に導入する Hinemos Agent のサービス名



回答　　 (1) コマンド　　　　　　： ${JAVA_HOME}/bin/java　　　引数　　　　　　　： .*-Dhinemos\.manager.*　　　プロセス数　　　　： 1個以上　　 (2) コマンド　　　　　　： ${JAVA_HOME}/bin/java　　　引数　　　　　　　： .*-Dhinemos\.agent.*　　　プロセス数　　　　： 1個以上

　　 (3) サービス名　　　　　： HinemosAgent

※Hinemos マネージャ自ら、自身のプロセスを監視することは推奨していない。

監視したい場合は、もう一台Hinemos マネージャを用意するなどして相互監視を行う。

Hinemos のマネージャ、エージェントの起動状態を監視したい


事象原因仕組み対処不明点を解消

まとめ

38


Hinemos へのジョブ移行のポイント

39


商用運用管理ツールからHinemos へのジョブ移行を進める為には

Hinemos へのジョブ移行に必要なこと

既存のジョブ定義の把握

既存ツールと Hinemos との機能差異の把握

Hinemos での機能差異の対応方法の検討

対応方法の検討結果を元にジョブ定義を設計

不要なジョブの削除を含むジョブフロー

の見直しも重要


商用運用管理ツールと Hinemos との主な機能差異

既存ツールと Hinemos との機能差異の把握

• ログファイルに特定のキーワードを含むログが出力されるまで待機するジョブ

ログファイル監視ジョブ

• ファイルが作成・更新・削除されるまで待機するジョブ

ファイル監視ジョブ

• イベント受信ジョブに対しイベントを送信するジョブ

イベント送信ジョブ

• イベント送信ジョブからイベントを受信するまで待機するジョブ

イベント受信ジョブ

• 指定の期間・回数・間隔に従い、ジョブ ( ネット ) を繰り返し実行するジョブ ( ネット )

繰り返しジョブ（ジョブネット）


Hinemos との機能差異の対応方法①

ログファイル監視ジョブ

• ジョブフローから対象ジョブが切り離せる場合、ログファイル監視機能の監視結果と連動してジョブを実行することで対応

• 指定したログファイルに特定のキーワードを含むログが出力されるまで、ログ監視を繰り返し実施するスクリプトを作成し対応

• 弊社では、 Hinemos のログファイル監視機能をベースにしたスクリプトで対応

ファイル監視ジョブ

• ジョブフローから対象ジョブが切り離せる場合、カスタム監視機能の監視結果と連動してジョブを実行することで対応

• 指定したファイルが作成・更新・削除されるまでファイルの状態の監視を繰り返し実施するスクリプトを作成し対応

• 弊社では、 Hinemos のジョブ実行契機のファイル監視をベースにしたスクリプトで対応


Hinemos との機能差異の対応方法②

イベント送信ジョブ

• ジョブ通知を利用して、任意のジョブが完了したタイミングで他のジョブを実行することで対応（※推奨せず）

• イベント受信ジョブに対してイベントを送信するスクリプトを作成し対応• 弊社では、イベント通知を利用したイベント送信スクリプトで対応

イベント受信ジョブ

• ジョブ通知を利用して、任意のジョブが完了したタイミングで他のジョブを実行することで対応（※推奨せず）

• イベント送信ジョブからイベント受信するまで待機するスクリプトを作成し対応

• 弊社では、イベント通知を利用したイベント受信スクリプトで対応


Hinemos との機能差異の対応方法③

繰り返しジョブ

• ジョブフローから繰り返し対象のジョブが切り離せる場合、ジョブスケジュールによる繰り返し実行にて対応

• 指定したコマンドを期間・回数・間隔に従い、繰り返し実行するスクリプトを作成し対応

• 参照ジョブを直列に定義し対応

繰り返しジョブネット

• ジョブフローからジョブネットが切り離せる場合、ジョブスケジュールによる繰り返し実行にて対応

• 繰り返し対象のジョブネットを直列に定義し対応


ご紹介できなかった機能差異

ジョブフロー制御のアーキテクチャコマンドの返り値の範囲指定の複数対応カレンダの営業日制御ジョブの対話式実行

その他


Hinemos へのジョブ移行実績

JP1/AJS Senju Tivoli

ノウハウを活かしコストダウンを実現！


Hinemos へのジョブ移行に必要なことHinemos での機能差異の対応方法Hinemos へのジョブ移行実績

まとめ


Hinemos 関連サービス

48


Hinemos 関連サービス

移行・構築最適な

Hinemos 環境を提供します。

保守年間 1,000件を超える実績でご期待に応

えます。

開発新機能を開発、提

供します。

ミドルウェア監視

個別対応

保守サポート

有償オプション

個別対応

運用環境構築バージョンアッ

プコンサルティ

ン

グ他ツールから移

行

あらゆるフェーズで最適なソリューションをご提供いたします。

49

アライアンス2016 年 7 月 19 日に Hinemos アライアンス体制を発足

Hinemos アライアンス


Hinemos アライアンス

株式会社 NTT データ、NTT データ先端技術株式会社、株式会社 NTT データ関西、株式会社クニエ、株式会社アトミテック

以下を目的としたアライアンス・迅速な機能向上・サービス提供・最適な Hinemos ソリューションの共同開発・ Hinemos の導入を促進


ご不明な点等ございましたら、お気軽にブースまでお越しください。

お問い合わせ先

株式会社アトミテック[email protected] 　または、 [email protected]　吉永まで

事業拡大に伴いエンジニア募集中！

ご清聴ありがとうございました

51

プロが解説！Hinemosによる運用管理テクニック

Technology

Transcript of プロが解説！Hinemosによる運用管理テクニック