SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm
-
Upload
vu-hung-nguyen -
Category
Documents
-
view
288 -
download
1
description
Transcript of SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm
![Page 1: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/1.jpg)
Phần mềm mã mở và dự tính khí hậu 100 năm
Nguyen Trung Kien Hanoi University of Science DTT Technology Group
Hà Nội, ngày 21 tháng 09 năm 2013
So.ware Freedom Day 2013, HUST, Hanoi
![Page 2: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/2.jpg)
Nội dung
Nhu cầu @nh toán & lưu trữ 1
PMMM cho HPC và lưu trữ 2
Hỏi đáp 3
![Page 3: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/3.jpg)
Nhu cầu @nh toán và lưu trữ
• Đề tài cấp nhà nước: – Nghiên cứu xây dựng hệ thống mô hình dự báo hạn mùa một số hiện tượng khí hậu cực đoan phục vụ phòng tránh thiên tai ở VN
– Nghiên cứu xây dựng hệ thống đồng hoá tổ hợp cho mô hình thời lết và hệ thống tổ hợp cho một số mô hình khí hậu khu vực nhằm dự báo và dự @nh các hiện tượng thời lết, khí hậu cực đoan
![Page 4: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/4.jpg)
Nhu cầu @nh toán và lưu trữ
• Dự án Danida – Đan Mạch: – Nghiên cứu thuỷ tai do biến đổi khí hậu và xây dựng hệ thống thông ln nhiều bên tham gia nhằm giảm thiểu @nh dễ bị tổn thương ở Bắc Trung Bộ Việt Nam
• Dự án CSIRO – Úc: – Hạ quy mô phân giải cao cho Việt Nam
![Page 5: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/5.jpg)
Nhu cầu @nh toán và lưu trữ
• Dự báo thời lết: MM5, WRF, HRM – Dự báo 3 ngày – chạy 4 lần/ngày – 2 giờ/1 lần chạy (node @nh: 2xQuad 2.5GHz, 8GB Ram)
• Dò �m xoáy bão: RegCM – Dò �m 12 tháng – chạy 1 lần/tháng – 140 giờ/1 lần chạy – Lưu trữ 70 GB dữ liệu
• Dự báo mùa: MM5, WRF, RegCM – Dự báo 7 tháng – chạy 1 lần/tuần – 35-‐50 giờ/1 lần chạy – Lưu trữ 6-‐16 GB dữ liệu
![Page 6: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/6.jpg)
Nhu cầu @nh toán và lưu trữ
• Mô phỏng khí hậu 1979 – 2010: – Nhiều loại đầu vào: ERA40, NCEP, INTERIM – Models: RegCM, MM5CL, clWRF, REMO – Mất 2-‐5 giờ/1 tháng mô phỏng, ~ 5GB dữ liệu
• Dự @nh khí hậu 2011-‐2100: – Kịch bản phát thải A1B, A2 – Models: MM5CL, CCAM, RegCM, clWRF, REMO – Mất 2-‐5 giờ/1 tháng mô phỏng, ~ 5GB dữ liệu
![Page 7: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/7.jpg)
Nhu cầu @nh toán và lưu trữ
• Số lượng tương đối lớn người dùng: – 10 cán bộ – 2-‐3 NCS – 5-‐6 Học viên CH – > 15 sinh viên ĐH – Người dùng từ các tổ chức khác
• Cần lưu trữ dữ liệu từ các dự án/đề tài trước • Nhu cầu lưu trữ: > 100 TB • Ngân sách hạn chế
![Page 8: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/8.jpg)
Phần cứng thông dụng và PMMM cho HPC
• Phần cứng thông dụng: – Đã được chuẩn hoá – Sản xuất với số lượng lớn
• Sử dụng server Intel, Supermicro • Mellanox Infiniband SDR 10 Gbps • Rocks toolkit • Centos • Torque + Maui • GNU, Intel compiler (academic), mvapich, netcdf, opengrads, module environment, …
![Page 9: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/9.jpg)
PMMM cho hệ thống lưu trữ
• Tốc độ đọc/ghi cao • Dung lượng lưu trữ > 100 TB • Tin cậy, ổn định • Tận dụng được các ổ cứng có sẵn
– Hàng chục ổ cứng 300GB – 2TB dành cho máy để bàn (WD, Seagate, Samsung, …)
LustreFS và HDFS
![Page 10: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/10.jpg)
Hệ thống lưu trữ LustreFS
• Linux + Cluster = Lustre • Khởi đầu tại Cluster File System – 2003 • Mua lại bởi Sun – 2007 • Oracle lếp quản – 2010 • Cuối 2010, Oracle dừng phát triển Lustre => cộng đồng: Whamcloud, Xyratex, OpenSFS, …
• Intel mua lại Whamcloud – 2012
![Page 11: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/11.jpg)
Hệ thống lưu trữ LustreFS
• Hệ thống file phân tán • Thường được sử dụng trong các hệ thống @nh toán lớn
• 6/10 và 60/100 hệ thống mạnh nhất thế giới (Titan #2, K Computer #4, …)
• Hỗ trợ hàng chục nghìn node @nh • Dung lượng mở rộng tới hàng chục PB • Thông lượng I/O > 1 TB/s
![Page 12: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/12.jpg)
Hệ thống lưu trữ LustreFS
![Page 13: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/13.jpg)
Hệ thống lưu trữ LustreFS
Hot spare Raid5
Raid5
![Page 14: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/14.jpg)
Hệ thống lưu trữ LustreFS
Hot spare Raid5
Raid5
Hot spare Raid5
Raid5
![Page 15: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/15.jpg)
Hệ thống lưu trữ LustreFS
Hot spare Raid5
Raid5
Hot spare Raid5
Raid5
Infiniband (10Gbps)
![Page 16: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/16.jpg)
Hệ thống lưu trữ LustreFS
Hot spare Raid5
Raid5
Hot spare Raid5
Raid5
Infiniband (10Gbps)
Use only Enterprise SAS/SATA HDD
LustreFS
![Page 17: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/17.jpg)
Hệ thống lưu trữ HDFS
• HDFS = Hadoop Distributed File System • Thiết kế để chạy trên phần cứng thông dụng (commodity hardware)
• Bắt đầu phát triển bởi Doug Cu¡ng – 2002 • Được “truyền cảm hứng” từ GFS của Google – 2003
• Trở thành dự án mã mở Apache – 2006 • Sử dụng bởi: Facebook, Yahoo, Ne¦lix, … • Không tương thích chuẩn POSIX • Thông lượng I/O tổng gộp cao nhưng độ trễ lớn
![Page 18: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/18.jpg)
Hệ thống lưu trữ HDFS
![Page 19: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/19.jpg)
Hệ thống lưu trữ HDFS
Namenode
Data node3
Client
Hệ số nhân = 2: Mỗi file được cắt thành các block 64MB và được lưu trên 2 node khác nhau
Data node1
Data node2
![Page 20: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/20.jpg)
Hệ thống lưu trữ HDFS
Namenode
Client
Client đọc dữ liệu trực lếp từ các Datanode -‐> thông lượng tổng gộp cao
Data node3
Data node1
Data node2
![Page 21: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/21.jpg)
Hệ thống lưu trữ HDFS
Namenode
Chịu lỗi: Block có số bản nhân < 2 được tự động copy sang 1 node khác
Data node2
Data node3
Data node1
![Page 22: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/22.jpg)
Metocean Cluster
• 14 node, 106 core, 141 GB RAM, Rpeak ~ TFlops • Infiniband SDR 10Gbps & 1Gbps interconnect network • 76 TB LustreFS sử dụng Enterprise HDD (2TB/ổ) • ~ 70 TB “Cloud Storage” HDFS sử dụng ổ cứng cho máy để bàn
– Lưu trữ những file dung lượng lớn (bội số của 64MB) – Hệ số nhân = 2 (dung lượng thực dùng ~ 35 TB) – Mount vào hệ thống file bằng FUSE
• Dữ liệu quan trọng nhất của hệ thống HDFS và LustreFS -‐ metadata (vài GB) -‐ được upload tự động lên Dropbox
Infiniband 10Gbps
1Gbps Ethernet
192.168.0.0/24
192.168.1.0/24
Dropbox Cloud Storage
![Page 23: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/23.jpg)
Kết quả benchmark Đánh giá khi LustreFS đã sử dụng tới 98% (Tốc độ đọc/ghi giảm đáng kể) mpirun -np 16 IOR -a MPIIO -r -w -b 1g -t 1m -o \ ! /work/users/kiennt/IORFILE -v -i 3 !
1 mb 10 mb 100 mb 1 gb 2 gb 3 gb 8 clients 460.05 648.65 301.74 343.47 340.3 337.21
16 clients 45.72 661.26 438.17 477.21 477.76 363.43
24 clients 42.15 548.84 444.19 479.93 499.2 387.3
32 clients 111.86 373.07 544.19 514.12 488.83 410.73
40 clients 142.81 333.58 551.62 556.51 524.36 453.79
0 100 200 300 400 500 600 700
MB
/s
Block size
Write speed
Max speed
1 mb 10 mb 100 mb 1 gb 2 gb 3 gb 8 clients 72.68 5725.97 4116.08 614.1 493.62 500.98
16 clients 155.99 953.16 3856.11 1613.18 1269.88 1029.32
24 clients 223.75 514.94 2983.58 1573.84 1286.87 953.75
32 clients 1315.45 1993.96 4310.74 1804.51 1175.01 979.01
40 clients 1546.91 2181.85 5007.63 1957.33 1128.21 1065.43
50
250
1250
6250
MB
/s
Block size
Read speed
caching effect
![Page 24: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/24.jpg)
Kết quả thực
• LustreFS: – Chạy RegCM, MM5, CCAM trên 1 node – Dữ liệu xuất ra được ghi lên LustreFS và NFS – Thời gian chạy trên LustreFS giảm từ 30%-‐50% so với NFS
• Hadoop Streaming: – Chỉ dùng Map để phân @ch dữ liệu trên 12 nodes (2 mapper/node)
– Các nodes vẫn đang chạy các chương trình MPI – Thời gian chạy giảm tới 10 lần
• An toàn dữ liệu: – Mất 3 block HDFS / 2.5 năm
![Page 25: SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm](https://reader036.fdocuments.net/reader036/viewer/2022081400/554bc82fb4c90594278b56c3/html5/thumbnails/25.jpg)
Hỏi đáp
Xin chân thành cảm ơn