戦略分野３

有限要素法を用いた地震動シミュレーションの大規模化・高速化

堀 宗朗

東京大学地震研究所

第１回「京」を中核とするHPCIシステム利用研究課題成果報告会

コクヨホール，品川，東京

2014年10月31日(金)

HPCI Strategic Program for Innovative Research Field 3

DEVELOPMENT OF LARGE SCALE AND FAST FINITE ELEMENT

METHOD FOR SEISMIC GROUND MOTION SIMULATION

M. HORI (ERI, UTokyo)

戦略分野３

防災・減災に資する地球変動予測

地震・津波の予測精度高度化に関する研究

都市全域の地震等自然災害シミュレーションに関する研究

構造物の地震応答シミュレーション

都市の地震応答シミュレーション

地震動シミュレーション

地盤内での地震波の増幅過程（増幅は10倍に至る場合もある）

構造物・都市の地震応答シミュレーションの入力（地震工学の最重要要素）

地震動シミュレーションの数値解析

非線形波動方程式

𝒖(𝒙, 𝑡): ρ𝒖 = 𝛻 ∙ 𝒄(𝛻𝒖): 𝛻𝒖

幾何形状の効果：変位関数の勾配が特異

非線形性：正定値性を失う微分オペレータ

有限要素法：非構造格子

課題

高速解法 CG法の大規模化・高速化

モデル構築 自動化，品質保証

FEMの改良

前処理付CG法の大規模化・高速化

幾何マルチグリッド (geometric multi-grid)

可変精度前処理 (mixed precision arithmetic)

その他

EBE (element-by-element for efficient storage)

圧縮列格納 (compressed row storage)

高次の予測子の利用 (predictor of higher order)

所与の周波数領域までの，数値計算の収束確認（計算品質の保証）

• 数値計算の収束確認は大規模数値計算では本質的に重要

• 数値解の対象は，変位，加速度・速度（時間微分）とひずみ（空間微分）

PRE-CONDITIONED CG

CG

{

𝒙(0)= 𝟎, 𝒑(0) = 𝒃, 𝒓(0) = 𝒃

do i = 0, 1, 2, 3, …

𝛼(𝑖) = (𝒓(𝑖) ∙ 𝒙 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )

𝒙 𝑖+1 = 𝒙 𝑖 + 𝛼(𝑖)𝒑(𝑖)

𝒓(𝑖+1) = 𝒓(𝑖) − 𝛼(𝑖)𝑨𝒑(𝑖)

𝛽(𝑖) = −(𝒓(𝑖+1) ∙ 𝑨𝒑 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )

𝒑 𝑖+1 = 𝒓 𝑖+1 + 𝛽(𝑖)𝒑(𝑖) enddo

}

CG

{

𝒙(0)= 𝟎, 𝒑(0) = 𝒃, 𝒓(0) = 𝒃

do i = 0, 1, 2, 3, …

𝛼(𝑖) = (𝒓(𝑖) ∙ 𝒙 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )

𝒙 𝑖+1 = 𝒙 𝑖 + 𝛼(𝑖)𝒑(𝑖)

𝒓(𝑖+1) = 𝒓(𝑖) − 𝛼 𝑖 𝑨𝒑 𝑖 𝒛(𝑖+1) = 𝑴𝒓(𝑖+1) (preconditioner) 𝛽(𝑖) = −(𝒛(𝑖+1) ∙ 𝑨𝒑 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )

𝒑 𝑖+1 = 𝒛 𝑖+1 + 𝛽(𝑖)𝒑(𝑖) enddo

}

Conjugate Gradient Method (CG) is a standard solver in large scale FEM

• iterative (not direct)

• efficient (O(Log N N), rather than O(N2))

• development of pre-conditioning

standard CG pre-conditioned CG

Layer 1

Layer 2

Bedrock

N

U

E

TARGET DOMAIN

Part of Tokyo

• domain of 1,250 x 1,250 m

• 3 layers

complicated configuration

high impedance contrast and non-

linear soil properties

• 4,066 buildings

surface bedrock interface between layer 1 & 2

elevation (m)

DETIALS OF TARGET DOMAIN

non-linear constitutive relation

• Ramberg-Osgood model with

Masing rule

• more sophisticated constitutive

relation

• underground water coupling

Layer 1

Layer 2

Bedrock

N U

E

ANALYSIS MODEL

• 15 Hz: minimum element dimension 1.0 m

DOF 1,022,630,349

Node 340,876,783

Element 252,737,051

• numerical convergence in 5 ~ 15 Hz

cf. large simulation in practice

DOF Order of 1,000,000

3D linear analysis/2D non-linear analysis

WEAK SCALING

GAMERA：unstructured 3-D finite-element-based MPI-

OpenMP hybrid seismic wave amplification simulation code

EBE：Element-By-Element

STRONG SCALING

Trade-off between inner loop and outer loop

• Inner preconditioner

• Outer solver

STRONG SCALING

Improvement from GAERA to GAMERAEBE4

• Total scalable up to 294,912 cores

• Computation scalable up to 294,912 cores

GROUND MOTION

Surface Ground Motion Induced by Uniform Bedrock Input: horizontal norm of SI

236 [cm/s]

113

STRUCTURE RESPONSE

Surface Ground Motion

(horizontal norm of SI)

Structure Response

(max. drift angle)

0.02 [rad.]

0.0

236 [cm/s]

113

1D VS 3D

Point A Point B

Interface between layer 1 & 2

Interface between layer 2 & bedrock

Surface topography

Point A

Point B

3D analysis 1D analysis 3D analysis - 1D analysis

Ho

rizo

nta

l mag

nit

ud

e o

f SI

val

ues

M

axim

um

sto

ry d

rift

an

gle

- =

- =

0.0 -9.88 37.9 [cm/s] 236 [cm/s] 113

0.0 -0.003 0.003 [rad.] 0.02 [rad.] 0.0

1D VS 3D Comparison of practical 1D analysis and advanced 3D analysis that uses HPC

STOCHASTIC MODEL

10,000 analysis models are generated for each building in a target ward

• uncertainties in model parameters

• capability computing based on capacity computing

quantitative evaluation of uncertainty in structure response in terms of probability

メッシュ生成方法の改良

•バックグランド格子を使ったメッシュ生成 •格子毎に独立してメッシュ生成が可能なため、並列化可能 •節点は整合していても、要素面は整合しない可能性

要素が重なる

隙間があく

形状修正前 形状修正後

近似を無くすよう，節点を上に移動

隙間なし 隙間あり

メッシュの整合性の確保 バックグラウンド格子を三角柱に分割し，Delaunay分割

従来方法(まとめてDelaunay分割)

改善した方法(三角柱に分割してからDelaunay分割)

上下の面の要素の向きはそろわないことがある →上下に積み重ねると要素面の整合性が失われる

上下の面の要素の向きがそろう →上下に積み重ねても要素面は整合する →節点を上下に動かしても隙間や要素の重なりは生じない

形状修正

形状修正前 形状修正後

形状近似による凹凸

2次要素の場合，上下方向の要素面は整合するが，水平方向の要素面は整合しない可能性

ANOTHER EXAMPLE: VALLEY PLANE

x

y z

1,728 m

1,952 m

70 m

1st layer

2nd layer

Valley Plane Problem

• valley plane: deep sediment layer on old valley (geological terminology)

• known as place of ground motion concentration due to complicated geometry

• need to evaluate degree of concentration

valley plane

surface bedrock interface between layer 1 & 2

elevation (m)

VALEY PLANE ANALYSIS: MODEL

Vp (m/s) Vs (m/s) r (kg/m3) hmax gr

1st layer 700 100 1,500 0.23 0.007

2nd layer 1,400 300 1,800 0.23 0.0001

bedrock 2,100 700 2,100 0.01 ∞

51.5 s 51.3 s 51.4 s

norm of horizontal displacement (m)

VALLEY PLANE ANALYSIS: RESULTS

frequency 5.0 Hz

element size 2.0 m

DOF 282,415,392

Node 94,128,464

element 69,120,819

2nd-order tetra-element

Success in quantitative evaluation of degree of

ground motion concentration

• Temporal derivative (velocity, acceleration)

• Spatial derivative (strain)

まとめ

構造物・都市の地震応答解析の基盤となる，地震動シミュレーションの大規模化・高速化が実現

1,000,000,000 DOF

非線形

大規模高速有限要素法の開発

前処理付きCG法

その他の工夫

地震動シミュレーション以外への応用も期待