GEO Gridの過去・現在・未来 @FOSS4G 2011 Tokyo

1

1

山本直孝産業技術総合研究所情報技術研究部門

地球観測グリッド研究グループ

FOSS4G 2011 Tokyo 2011.11.07

http://www.geogrid.org/

2 2 http://www.geogrid.org/

 大量の地球観測データを保存，処理

 各種観測データベース

 GISデータとの融合


  『グリッドによる高精度画像補正システム構築の研究』として2005年にスタート  ASTER (100TB) をDISKベースストレージに格納して高速に提供する

 遠隔にあるデータベースを統合して，複数センサのデータを一括で検索できる

 シングルサインオンで，検索，処理，ダウンロードができる

GeoGRID = GRID for geo*


 集中管理されていない分散した資源のコーディネート

 オープンスタンダードなプロトコルやインターフェースの利用

 単純には得られない質の高いサービスの提供

http://www.jpgrid.org/ より

ネットワーク上の計算機やデータベース、実験装置等の資源を仮想化して統合し、安全に、安定して、簡単に利用する技術」です。ネットワーク上にはコンピュータ、実験装置、センサ、データなどの資源が分散しています。これらの分散している資源を仮想化して提供することにより、ユーザが複雑な情報処理を行えるようにする技術


  コンピューティンググリッド  複数のクラスタやスパコンを同時に利用することで超高性能計算サービスを実現する

 （SETI@Homeとかは，PCグリッド）   データグリッド

 大規模データの保存，共有を複数組織，クラスタ等を超えて実現する

  センサグリッド  遠隔地にある観測装置の制御やデータ共有を実現する

  セキュリティ  シングルサインオン，多組織連携


Database Server (Sybase)

FORMOSAT-2

Application Server OGSA-

DAI

Globus

SQL w/ JDBC

NSPO@TW

Database Server (PostgreSQL)

ASTER MODIS

OGSA- DAI

SQL w/ JDBC

OGSA- DAI

Globus

AIST@JP

AIST

OGSA-DAI Client

Integration Framework with OGSA-DAI

Java Program

SQL SQL SQL

SIMS portlet - query data - create web page which shows thumbnail images

SQL

SQL


MODIS FORMOSAT-2

ASTER


Database Server (PostgreSQL)

ASTER

SQL w/ JDBC

OGSA-DAI

Globus

AIST

OGSA-DAI Client

Integration Framework with OGSA-DAI

Java Program

1. query 2. return granuleID

Globus Pre-WS GRAM

3. request DEM w/ granuleID

ASTER DTMsoft

4. invoke 6. result

5. retrieve

SIMS portlet - query data - create web page which shows thumbnail images - process ASTER data


 大量の地球観測データを保存，処理  グリッドなら当たり前

 各種観測データベース  衛星データは出来た

 GISデータとの融合  全然出来てない

10

10

Global Earth Observation Grid

あらゆる地球観測に関わるデータやアプリケーションを対象として，Grid技術を用いてシステムを構築する


Open Grid Forum (OGF) compliant infrastructure

Open Geospatial Consortium (OGC) compliant Web Service

CPU Server

CPU Server

Computing Grid

Sensor Grid

Application Model prediction, evaluation, Alarm official announcement, etc.

CS-W WPS WMS

WFS WCS SOS

In-situ data

GIS, Map data

Satellite data

ASTER

Storage Grid

Grid Security Infrastructure Virtual Organization


AP photo

Energy Cone Simulation

Mt. Melapi　 ASTER

  入力パラメータをWMS上で指定  GetFeatureInfo

  WPSで処理実行   入力データ（DEM）は，WCSで取得   GRASSでラスタ→ベクタ変換   結果をWMSで出力

 KML, Shapefile

13 13 http://www.geogrid.org/ AIST Super Cloud

1G

geo&ff L3 etc L0/L1

Apache Mapserver

QQ

basemap

geo&ff L3 etc L0/L1

Apache Mapserver

QQ

basemap

geo&ff L3 etc L0/L1

Apache Mapserver

QQ

basemap

geo&ff L3 etc L0/L1

Apache Mapserver

QQ

basemap

ASTER Data Archive

Metadata

csw.geogrid.org

CS‐W

ows.geogrid.org

WMS WFS WCS

ascvsvc.geogrid.org

WPS

Sensor Node (e.g. Live E!, JapanFlux)

52NorthSOS

SOS

ストレージ

別のサイト

WMS

WFS WCS

CSW


  ウェブサーバ   Apache, Tomcat

  WMS, WCSサーバ   MapServer, PostGIS

  WFS, WFS-T   GeoServer

  WPSサーバ   PyWPS

  WPSバックエンド   GRASS GIS

  SOSサーバ   52North SOS

  CS-Wサーバ   Lucene（全文検索エンジン）+独自実装

  マッピングクライアント   OpenLayers, GeoExt, MapFish

http://docs.geogrid.org/Applications


  http://ows.geogrid.org/?service=XXX で公開中  衛星画像モザイク

  Landsat, BlueMarble, GDEM（標高）  海岸線

 GSHHS  土地被覆図   ASTERシーン (http://ows.geogrid.org/pubaster?)  地震動マップ (http://ows.geogrid.org/qqm?)  日本道路地図 (http://ows.geogrid.org/JapanBaseMap?)

  CS-W http://csw.geogrid.org/viewer/  かたっぱしからWMS登録したら混沌が生まれた（整理中）

16

16

グリッドは古い？今時はクラウド？


グリッドクラウド

生まれ 1996年？ 2006年？厳密な定義ないない

曖昧な定義グリッドは広域ネットワーク上の計算、データ、実験装置、センサー、人間などの資源を仮想化・

統合し、必要に応じて仮想計算機や仮想組織を動的に形成するためのインフラ。以下はIan foster氏によるチェックリスト。 ①  集中管理されていない分散した資源のコーディネート

②  オープンスタンダードなプロトコルやインターフェースの利用

③  単純には得られない質の高いサービスの提供

（グリッド協議会ＨＰより）

以下の条件を満たす情報処理、ネットワーク、ストレージを提供するハードウェアベースのサービス。 ①  利用者にとって、ハードウエアの取り扱い（管理）が、高度に抽象化されている

②  利用者は、インフラのコストを経費として支払う

③  インフラに、非常に柔軟性がある（スケーラビリティーがある）

（McKinsey調査レポートより）

語源電力網雲


  全てのサービスが停止   １時間位UPSで動いていた   電気，水道停止，建物も一部破損   当面出勤停止

  Skypeで情報共有，システム稼動に向けた議論

  様々な組織から支援の申し出

GEO Grid 災害対応タスクフォース http://disaster.geogrid.org/


  グリッドプロトコルは隠蔽  ＯＧＣでつなぐべき

  グリッドセキュリティは必要か？  第三者転送にはdelegationが必要。

 とりあえず残すが、代替技術を検討中。   システムががっつり作ってあって、複雑だった。

 データサーバと計算サーバが一体化  ファイルシステムをマウントしていた

 保守が煩雑  拡張性がない

 よそのリソースを簡単に使えない


http://docs.geogrid.org/Future_Architecture

http://www.kantei.go.jp/jp/singi/utyuu/

GEO Gridの過去・現在・未来 @FOSS4G 2011 Tokyo

Documents

Transcript of GEO Gridの過去・現在・未来 @FOSS4G 2011 Tokyo