XML ベースの研究管理システム RCM(R&D Chain Management) System
-
Upload
lilah-pratt -
Category
Documents
-
view
45 -
download
0
description
Transcript of XML ベースの研究管理システム RCM(R&D Chain Management) System
XML ベースの研究管理システム RCM(R&D Chain Management) System
日本原子力研究開発機構 上島 豊
利用者端末Web
Server
リモート端末
シミュレータデータベースサーバ
サービスブローカ
解析結果
ファイルサーバ
バックアップサーバ
ローカルデータ
解析サーバ
☆変化の激しい研究業務をより速く、より正確に!
☆研究開発者により優しく、ノウハウの継承を楽に!
2006 年 3 月 1 日 「核融合実験のデータ処理に関する次世代システム技術の検討」
発表の流れ1) RCMシステム開発の動機
2) R&Dチェーンの問題点と改善策としての RCM提案
3) RCMシステムの制御に関する特徴
4) RCMシステムのUIに関する特徴
5) RCMシステムのDBに関する特徴
6) RCMシステムの可視化に関する特徴
7)まとめと RCMシステムの展開
IT化が進み、研究において情報が溢れるようになり、個人での情報処理・管理能力も限界
しかし、グループウェアや基幹ソフト (ERP,SCM) がある業務系・事務系に比べ研究業務は、 IT システム化が進んでいない。
研究業務は、従来個人の情報処理・管理能力により支えられてきたが、作業増大が限界に近く、創造的な研究に支障が発生。
IT革命において、計測器やシミュレーションなどで発生する情報は、爆発的に増大した。=>高精細データ、多次元データ等
開発動機
研究者は、管理や人材育成面のプロではないため、ノウハウ伝承を行うことが難しい
開発動機
また、研究者は、管理面や人材育成面のプロではないため、途中過程を把握や技術継承を行い人材育成を行うことが難しい。
競争力を高めるため研究過程のシステム化を進め、個人レベルの暗黙知からの脱却(技術継承可能な知)を図る必要性がある。
研究分野は、業務系と異なり、非定型・非定常性が高く、個人能力に依って支えられている部分が多い。
発表の流れ1) RCMシステム開発の動機
2) R&Dチェーンの問題点と改善策としての RCM提案
3) RCMシステムの制御に関する特徴
4) RCMSシステムのUIに関する特徴
5) RCMシステムのDBに関する特徴
6) RCMシステムの可視化に関する特徴
7)まとめと RCMシステムの展開
研究業務では、データ管理が個人任せで、情報共有や機密管理や品質保証が困難現在の研究の基本的な流れは、手動部分も多い
観測用 PC
①観測 ②FTPでダウンロード 観測日付 : 2003/12/10
ファイル名 : 03121001.speレーザ種別 :ガラスレーザ温度 :○○度コメント :面白い画像
③ ノートにメモ
観測データ
計測・解析データを個人で管理するのは、危険がいっぱい①パソコンが故障 ②メモが行方不明③解析パターンを思い出せな
い
問題提起
可視化・画像処理等の高度な処理により生成された派生データの再現性確保は、難題である
断面グラフ生成実験・シミュレーションによる 2次元データ
研究者・技術者の自由度のある可視化・解析パラメータ
・表示範囲・コントラスト・ノイズフィルタ ・ ・ ・
・断面位置・断面角度・幅方向 積分区間・断面方向 移動平均量 ・ ・ ・
問題提起
実験・シミュレーションの計画立案
実験・シミュレーション
データの解析
可視化、統計解析、比較評価
データのメモ
データのバックアップ
データの利用状況記録
研究業務では、非定型・非定常性により業務系の ERP、 SCMのようなシステム化が困難
インタラクティブなトライアル&エラーでの解析解析履歴のメモ
問題提起
研究業務で共通
研究業務を統合的に支援するシステムは、どのような機能・技術が必要か!
RCM (R&D Chain Management) System
必要とされる機能要件 ●非定型、非定常な R&D チェーン変化への迅速な対応性● データの検索性とトレーサビリティの確保● 各種データ間の派生関係把握● データの共有化、公開化および機密化● 各種機能サーバの分散化による高い拡張性、耐障害性● 古い R&Dチェーンやソフトウェアの取り込み
採用すべき技術 ● 効率的使用と使いやすさを兼ねるため CLI、GUIの双方を装備●RDB 様の固定的データベース設計でない、フレキシブルなデータ
ベース●R&D チェーン変化を記述できるワークフロー機能● さまざまなレベルで設定できる情報閲覧・更新権限管理機能● クライアントによらない Web サービスを基盤としたシステム
提案
XML技術を利用し、変化の激しい R&Dチェーンに追従できる RCMシステムを提唱
SOAP SSH, SCP
0階層
1階層 ( DMZ に配備)
2階層
3階層(サービスサーバ)
様々な層でのXML によるデータ送信
画面表示
サーバ定義ワークフロー定義
DB データ構造可視化定義
利用者 PC
Internet 、 LAN 等
ファイルサーバ
分析 PC
計測装置
可視化サーバ
Web サーバ
サービスブローカ
DB サーバ
XML ユーザインタフェース S/W
XML 分散 サーバ制御 S/W
XMLデータベース S/W
シミュレータ
提案
利用者端末Web Server
解析結果
①要求③解析元データ獲得
バックアップサーバ
② 参照 記録⑦バックアップ
外部格納データ
コントロールサーバ
データベースサーバ
⑤解析
解析サーバ
ファイルサーバ
④転送
データsimulation入
力Simulation inputSet = 2Mesh size= 2048:2048
メモ等の任意データを追加登録
Experiment environmentangle = 45°Exposure time=10s
⑥保存
Simulation inputSet = 2Meshu size= 2048:2048
原研の実験支援 DB・シミュレーションポータル、阪大医学部の細胞シミュレーション等の導入実績
提案
発表の流れ1) RCMシステム開発の動機
2) R&Dチェーンの問題点と改善策としての RCM提案
3) RCMシステムの制御に関する特徴
4) RCMSシステムのUIに関する特徴
5) RCMシステムのDBに関する特徴
6) RCMシステムの可視化に関する特徴
7)まとめと RCMシステムの展開
様々な階層の定義やタスクフローは、 XMLで記述されており、メンテナンス性、移植性が高い XML による各種定義例ワークフロー定義
<?xml version="1.0" encoding="EUC-JP"?><ControlServer> <httpType>http</httpType> <name>MssPC</name> <host>localhost</host> <port>80</port> <target>ControlServer/Entry.jws</target></ControlServer>
サーバ定義
<?xml version="1.0" encoding="EUC-JP"?>
<WorkFlow> <name>FileTransfer WorkFlow</name> <status>wait</status> <Start no="0"> <status>wait</status> <next>1</next> </Start>
<FileTransfer no="1"> <status>wait</status> <fromServerType>AprServer</fromServerType> <fromServerName>aprdb1</fromServerName> <fromDirectory></fromDirectory> <fromFile>ControlServer.log</fromFile> <toServerType>FileServer</toServerType> <toServerName>sscmpp</toServerName> <toDirectory></toDirectory>
<toFile>bigFile.log</toFile> <next result="success">999</next> <next result="error">999</next> </FileTransfer> <End no="999"> <status>wait</status> <next>end</next> </End></WorkFlow>
RCM-制御
ヒューマンエラーによるデータ書換、サーバ障害によるデータ消失を防ぐ機構が容易に実装可能データの格納場所を意識させない擬似階層ストレージ
・データをバックアップサーババックアップしておき、検索時にファイルサーバに
該当するファイルが存在しなければ、自動的にリストアし、検索結果を返す。
参照
バックアップサーバ
リストア命令
コントロールサーバ
データベースサーバ
ファイル探査
ファイルサーバ
Web Server
ファイル無しの応答
リストア実施
ファイル転送
RCM-制御
発表の流れ1) RCMシステム開発の動機
2) R&Dチェーンの問題点と改善策としての RCM提案
3) RCMシステムの制御に関する特徴
4) RCMSシステムのUIに関する特徴
5) RCMシステムのDBに関する特徴
6) RCMシステムの可視化に関する特徴
7)まとめと RCMシステムの展開
制御ロジックフリーなGUIによる利用者に使いやすいインタフェースを構築することができる。
RCM-UI
各種実行作業をXMLテンプレートして登録しておき、 CLIの拡張性、簡便性を確保( GUIも勿論)
テンプレートをロードし、編集して実行
テンプレート自身をユーザが登録できる
XMLやユーザルールの確認
RCM-UI
XML リーフの数値・文字列による再階層化表示機能により、自明でないデータ間相関を探査できるpro1 user1
user2
exp1 shot1 diag1
laser1 file1
file2
shot2 diag2 file3
file4
target1
exp2 shot3 diag3
laser2
target2
pro2 user1
user2
exp3 shot4 diag4 file5
laser3
target3
exp4 shot5 diag5
target4
laser4
shot6 diag6 file6
target5
diag1
diag2 file3 exp1 shot2
file4 exp1 shot2
diag3
diag4 file5 exp3 shot4
diag5
diag6 file6 exp4 shot4
laser1 file1 exp1 shot1
file2 exp1 shot1
laser2
laser3
laser4
target1
target2
target3
target4
target5
・ノード名で分類・fileの後に exp, shot 所属を付加
・ target に file 情報はない・ diag に file 情報があるのは 偶数番号 shot のみである・ laser 1は、入力間違えかも!
再階層化指示
明らかになったデータ相関
RCM-UI
発表の流れ1) RCMシステム開発の動機
2) R&Dチェーンの問題点と改善策としての RCM提案
3) RCMシステムの制御に関する特徴
4) RCMSシステムのUIに関する特徴
5) RCMシステムのDBに関する特徴
6) RCMシステムの可視化に関する特徴
7)まとめと RCMシステムの展開
XML技術によるフリーフォーマットな実験管理は、実験途中での項目や階層構造の追加を可能とした一般的な研究を意識した自由な DB 設計( XML 型 DB )
1) XML の構造は任意に構築でき、時々刻々と変化する個々の実験データ及び 実験環境条件、その解析結果新しい項目を追加、管理できる。2)検索においても XML のあらゆる階層で検索ができ、データ構造に縛られない 検索が可能。
2 3
4 5 6 7
8 109
1
11
12 13
14 15 16 17
1819 20
ID XMLtag content value projectID seriesID XMLnodeID
1 shot 1 3
2 diag 1 3
4 file 1 3
5 file 1 3
8 analyze 1 3
11 shot_no 1 1 3 1
12 diag_set 3 1 3 2
14 file_type bacground 1 3 4
18 viz_type cros-ssection 1 3 8
RCM-DB
過去の情報を含め研究グループ間での情報共有と自分の成果保護を考慮している情報共有および過去の研究との比較を重視したDBシステム
・ DB 入力項目( XML タグ)の動的追加(必要な情報をタグ付で追加可能)
・実験・計測環境データ部分は、並列化をデータベースで可能
・ Postgres8.0 機能を使った任意時刻へのロールバック機能
・一般公開、プロジェクト内公開、非公開の3レベルの情報公開レベル
1 5 10 10033k =1 年分の実験 (2Mdata) 3.0 秒 7.0 秒 12.0 秒 102 秒
検索 hit 数格納実験数
DB性能: Xeon 3GHz 使用メモリ 1GB 1 実験= 60data (平均 50MB )と仮定し、1 画像= 5XML レコード(平均 100B )と想定した、
RCM-DB
開発した並列 DB は、データ格納時に XML データを均等に分配する=>検索の分散並列化
実験
1,4,7
実験
2,5,8
実験
3,6
実験 9
master slave1 slave2
DBmanager
round robin data group insert
parallel search
実験番号が 1,3,6
プロジェクト、研究シリーズ、ユーザ管理、
データマージ等は DBmanager が行う
実験
1,5
実験
2,6
実験
3,7
実験
4,8
slaveDB の追加に伴うデータ再分配
master slave1 slave2 slave3
RCM-DB
発表の流れ1) RCMシステム開発の動機
2) R&Dチェーンの問題点と改善策としての RCM提案
3) RCMシステムの制御に関する特徴
4) RCMSシステムのUIに関する特徴
5) RCMシステムのDBに関する特徴
6) RCMシステムの可視化に関する特徴
7)まとめと RCMシステムの展開
DBと連携した可視化・解析により再現性保障と可視化スキームのノウハウ蓄積ができる(1)・ RAW データ保存時自動解析( RAW データを DB 登録時に自動解析を行う)
・自動可視化・自動断面抽出・自動サムネール作成とデータリンク
RCM-Viz
DBと連携した可視化・解析により再現性保障と可視化スキームのノウハウ蓄積ができる(2)・インタラクティブ再解析機能(対話的に再解析でき、最終解析パラメータを DB 化)
可視化・解析データ検索画面 XML可視化パラメータ表示画面
インタラクティブ可視化
可視化画像保存時
にDB登録
インタラクティブ可視化画面
<runtime_name> ランタイム名 </runtime_name><data_set name=" データ名 " type =" データ型 "> <view_set name=" ビュー名 "> <preset> < パラメータキーワード > 設定値 </ パラメータキーワード > </preset> <read> < パラメータキーワード > 設定値 </ パラメータキーワード > </read> <transform> < パラメータキーワード > 設定値 </ パラメータキーワード > </transform> <view> < パラメータキーワード > 設定値 </ パラメータキーワード > </view> <output> < パラメータキーワード > 設定値 </ パラメータキーワード > </output> </view_set></data_set>
XML 可視化スクリプト
RCM-Viz
DBと連携した可視化・解析により再現性保障と可視化スキームのノウハウ蓄積ができる(3)・バッチ再解析( DB 化された解析パラメータを使って、他の複数データを再解析)
可視化・解析データ検索画面 XML可視化パラメータ表示画面
可視化画像保存時
にDB登録
バッチ可視化
<runtime_name> ランタイム名 </runtime_name><data_set name=" データ名 " type =" データ型 "> <view_set name=" ビュー名 "> <preset> < パラメータキーワード > 設定値 </ パラメータキーワード > </preset> <read> < パラメータキーワード > 設定値 </ パラメータキーワード > </read> <transform> < パラメータキーワード > 設定値 </ パラメータキーワード > </transform> <view> < パラメータキーワード > 設定値 </ パラメータキーワード > </view> <output> < パラメータキーワード > 設定値 </ パラメータキーワード > </output> </view_set></data_set>
XML 可視化スクリプト
複数のデータを指定し、同じ可視化パラメータで同時一斉可視化
RCM-Viz
発表の流れ1) RCMシステム開発の動機
2) R&Dチェーンの問題点と改善策としての RCM提案
3) RCMシステムの制御に関する特徴
4) RCMSシステムのUIに関する特徴
5) RCMシステムのDBに関する特徴
6) RCMシステムの可視化に関する特徴
7)まとめと RCMシステムの展開
業務系の SCMに対応するRCM ( R&D Chain Management)は、 R&Dの改善に有効!
*研究業務は、新技術開発や技術継承のために、より IT化、
統合システム化が進む必要があるのではないか?*日本の研究開発競争力を高めるため、変化が激しく、個人 の暗黙知に依存している R&Dチェーンをトータルに支援する RCM ( R&D Chain Management)システムを開発、テスト導入。
*変化の激しい研究開発をより速く、より正確に!*研究開発者により優しく、ノウハウの継承を楽に!*研究の進展管理等のマネジメント面でも大きく役立つ!
まとめ
RCMシステムのログDBを利用することで研究の進展度、データ参照率、改竄可能性を確認!
RCM 応用
RCMシステムのログは、 XML 形式でデータベース化され、誰が( Who)、いつ( When)、何を( What)、どこで( Where)、どのように( How)したかが検索、トレースできる。
・進展度報告が妥当かどうかの確認。・毎回定型的な作業を手動で行っていないかどうか?=>効率化・参照・検索されないデータはどの程度あるか ?・データが途中で置き換わっていないか ?
入力ベクトル結合重みベクトル
学習ベクトル量子化法 (Learning Vector Quantization : LVQ)学習ベクトル量子化法 (Learning Vector Quantization : LVQ)
分類したいデータの複数の特性指標をひとつのベクトルデータと考える。
どのクラスか?
結合重みベクトル分布
学習ステップ数
異なるクラス
同じクラス
RCMシステムのトレーサビリティ機能を利用することで使用者の暗黙知を顕在化!
様々なデータはその多次元ベクトル空間に分布していることになる。すでに分類されているデータセットを用いて分類を正しくできるように多次元ベクトル空間を結合重み Vector を使い、分割( Quantization )を学習(Learning) する。
RCM 応用
間違ったデータペーア(偽Subtractデータ)を96%の再現率(数え落しの少なさ)で判定!
研究者が間違ったデータペアを登録しようとした場合、警告を発せられる。
RCM 応用
データペア:バックグラウンド: SHOT データなどのデータ対
自動分類は、実験の物理的な特性にまで有効である可能性がある
分類2-ベクトル数1000学習回数40000
0102030405060708090
100
3dim 10dim 13dim
LVQ学習次元数
認識
率(%
) HHGXSeededTotal
分類3-ベクトル数1000学習回数40000
0102030405060708090
100
3dim 10dim 13dim
LVQ学習次元数
認識
率(%
)
NoFFFarFieldTotal
HHG実験のデータの分類は95%以上の確率で分離
Focus- FarFiledであるかないかも非常に高確率で分離
HHG:210 Seeded:107 X:129 total:446
FarField:119 Focus:327 total:446
RCM 応用
2次元画像から特徴的な断面を生成するためのガイドにも、 LVQが有効(精度 75%)である●可視化パラメータのみからイメージの特徴を表す適切な断面かどうか を75%の精度で予測できる。
乱数か何かで可視化パラメータをたくさん発生し(可視化は不要)、 2 つ程度の可視化パラメータ候補を見つけ出せば、ほぼ確実に得たい断面像を自動生成できることになる。
RCM 応用
断面グラフ生成実験・シミュレーションによる 2次元データ
研究者・技術者の自由度のある可視化・解析パラメータ
・表示範囲・コントラスト・ノイズフィルタ ・ ・ ・
・断面位置・断面角度・幅方向 積分区間・断面方向 移動平均量 ・ ・ ・