2005年9月28日6时58分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 1

WIN230: WIN230: Windows 2003 Compute Windows 2003 Compute Cluster EditionCluster Edition架构概况架构概况

苏骏苏骏

junsu@microsoft.comjunsu@microsoft.com

WindowsWindows服务器产品开发部服务器产品开发部

目标目标

目的目的

介绍微软介绍微软HPCHPC的战略的战略

介绍介绍Compute Cluster EditionCompute Cluster Edition

介绍第一个版本的架构介绍第一个版本的架构

同时同时

了解为什么微软要进入这个市场了解为什么微软要进入这个市场

了解第一个版本中包括什么了解第一个版本中包括什么

日程日程

市场和技术的走向市场和技术的走向

微软的高性能计算集群服务器第一个版本微软的高性能计算集群服务器第一个版本

Job SchedulerJob Scheduler

MPIMPI和网络和网络

部署部署

管理管理

Q&AQ&A

500500强超级计算机的趋势强超级计算机的趋势

工业界使用在增长

Clusters比例有50%

X86成为

赢家

GigE运用日趋广泛

HPCHPC市场的发展市场的发展

企业级应用$1M+

使用集群的最主要的问题使用集群的最主要的问题(IDC 2004, N=229)(IDC 2004, N=229)

系统的可管理性系统的可管理性 18%18%

现有的应用程序现有的应用程序 17%17%

并行算法的复杂度并行算法的复杂度 14%14%

空间空间, , 能耗和冷却能耗和冷却 11%11%

互连的带宽和延迟互连的带宽和延迟 10%10%

I/OI/O的性能的性能 9%9%

互连的复杂度互连的复杂度 9%9%

其他其他 12%12%

分部规模$250K-$1M

部门规模$50-250K

工作组<$50K

4.2%4.2%

2004 Systems2004 Systems

5.7%5.7%

1,1671,167

3,9153,915

22,71222,712

127,802127,802

Source: IDC, 2005Source: IDC, 2005

20042004--9 CAGR9 CAGR

7.7%7.7%

13.4%13.4%

<$250K <$250K –– 97% of systems, 52% of revenue97% of systems, 52% of revenueIn 2004 clusters grew 96% to 37% by revenueIn 2004 clusters grew 96% to 37% by revenue

Average cluster size 10Average cluster size 10--16 nodes16 nodes

LinuxLinux占有占有%90%90以上以上

2005年9月28日6时58分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 2

超级计算机的个人化超级计算机的个人化

19911991 19981998 20052005

系统系统 Cray YCray Y--MP C916MP C916 Sun HPC10000Sun HPC10000 ShuttleShuttle

架构架构 16 x Vector16 x Vector4GB, Bus4GB, Bus

24 x 333MHz Ultra24 x 333MHz Ultra--SPARCII, 24GB, SPARCII, 24GB, SBusSBus

4 x 2.2GHz x644 x 2.2GHz x644GB, 4GB, GigEGigE

操作系统操作系统 UNICOSUNICOS Solaris 2.5.1Solaris 2.5.1 Windows Server 2003 SP1Windows Server 2003 SP1

GFlopsGFlops ~10~10 ~10~10 ~10~10

Top500Top500排名排名 11 500500 N/AN/A

价格价格 3,2000,0000RMB3,2000,0000RMB 800,0000RMB800,0000RMB < 3,2000< 3,2000

客户客户 政府研究机构政府研究机构 大型企业大型企业 每个工程师和科学家每个工程师和科学家

应用应用 Classified, Climate, Classified, Climate, Physics ResearchPhysics Research

Manufacturing, Energy, Manufacturing, Energy, Finance, TelecomFinance, Telecom

Bioinformatics, Materials Bioinformatics, Materials Sciences, Digital MediaSciences, Digital Media

微软的战略微软的战略

降低采用降低采用HPCHPC的门槛的门槛

更容易的开发更容易的开发

更容易的使用更容易的使用

更容易的管理更容易的管理

提高应用程序的支持提高应用程序的支持

和主要的和主要的HPCHPC独立软件开发商合作独立软件开发商合作

通过高校关系来利用开放代码的应用通过高校关系来利用开放代码的应用

微软的市场开发微软的市场开发

专门的产品，合作伙伴，市场部，销售部以及产品支持部门专门的产品，合作伙伴，市场部，销售部以及产品支持部门

计划中的多个市场活动计划中的多个市场活动

先期主要客户的程序的移植先期主要客户的程序的移植

MS Technology CenterMS Technology Center的范例的范例

市场前景市场前景

让让HPCHPC被更多地采用，使得被更多地采用，使得HPCHPC成为一个大的市场成为一个大的市场

主要的结论主要的结论

市场的需求主要是市场的需求主要是 更快的开发流程，总体拥有成本下降更快的开发流程，总体拥有成本下降

利用已有的业界标准的软硬件的巨大市场利用已有的业界标准的软硬件的巨大市场

将会出现快速制造，安装和集成的系统将会出现快速制造，安装和集成的系统

工作站式的集群集成的应用将加速市场增长工作站式的集群集成的应用将加速市场增长

工程工程

生物信息学生物信息学

石油和天然气石油和天然气

财务财务

娱乐娱乐

政府和研究机构政府和研究机构

高性能运算软硬件的结合将让超级计算机个人化。

第一个版本第一个版本

时间表时间表

目标目标

应用支持应用支持

性能性能//价格价格

管理的简单管理的简单

可靠并且安全可靠并且安全

发布的指标发布的指标: : 质量质量, , 时间时间, , 功能功能

简单的说简单的说, , 我们去掉一些功能来保证我们能按时完成一个好质量我们去掉一些功能来保证我们能按时完成一个好质量的产品的产品

时间表时间表20052005第二季度第二季度 –– 完成核心开发完成核心开发

20052005第三季度第三季度 –– Beta (Beta (我们在这里）我们在这里）

20062006年上半年年上半年 –– 正式发布正式发布

最终用户群最终用户群

工程的工程的ITIT或者是传统公司的或者是传统公司的ITIT

负责整个系统的管理，小部分会专注于集群管理负责整个系统的管理，小部分会专注于集群管理

负责安装和管理计算集群负责安装和管理计算集群

有一些会具有有一些会具有UnixUnix经验，可能会使用经验，可能会使用Services for UnixServices for Unix

最终用户最终用户: : 科学家，工程师科学家，工程师

通过用户终端或者用户自己的程序提交作业通过用户终端或者用户自己的程序提交作业

无需了解系统管理无需了解系统管理

我们谋求把我们谋求把HPCHPC从计算机实验室走出来进入工业界，从计算机实验室走出来进入工业界，

实现个人化实现个人化““超级计算机超级计算机””的目标的目标

2005年9月28日6时58分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 3

设计目标设计目标

应用程序一样的安装体验应用程序一样的安装体验方便简单的部署控制节点和计算节点方便简单的部署控制节点和计算节点

简化和公司已有环境的整合简化和公司已有环境的整合

明确和统一的安装向导明确和统一的安装向导

大多数的操作都可以使用脚本完成大多数的操作都可以使用脚本完成..

运用现有的架构运用现有的架构使用活动目录来管理用户使用活动目录来管理用户,,资源和权限资源和权限..

使执行使执行, , 资源的访问资源的访问, , 管理更加安全管理更加安全

允许客户使用现有的部署方法允许客户使用现有的部署方法

可扩展的作业调度器和编程接口可扩展的作业调度器和编程接口通过命令行通过命令行, , 用户界面或者用户自己的程序用户界面或者用户自己的程序..

象管理打印机队列一样的管理作业队列象管理打印机队列一样的管理作业队列

标准的安全的标准的安全的MPIMPI实现实现由由MicrosoftMicrosoft提供提供MPIMPI可以减少应用程序和可以减少应用程序和MPIMPI不兼容的情况不兼容的情况..

作业调度作业调度

概念概念对象对象 描述描述

ClusterCluster集群集群

包含所有的节点和队列的一个整体，我们称为集群包含所有的节点和队列的一个整体，我们称为集群..

QueueQueue

队列队列

提供排队和调度作业的功能．对于一个集群只有一个队提供排队和调度作业的功能．对于一个集群只有一个队列．它包含一系列排队，运行和完成的作业．完成的作业列．它包含一系列排队，运行和完成的作业．完成的作业将被定期从队列中移除．将被定期从队列中移除．

JobJob作业作业

一个作业是由用户建立的，包含了多个任务，来完成计算一个作业是由用户建立的，包含了多个任务，来完成计算的．作业是用来保留资源以被任务来使用．的．作业是用来保留资源以被任务来使用．

TaskTask

任务任务

任务表达了一个应用程序在多个节点上的运行．一个任务任务表达了一个应用程序在多个节点上的运行．一个任务可以是一个普通应用程序（单进程）或者是一个可以是一个普通应用程序（单进程）或者是一个MPIMPI的应用的应用（多进程（多进程).).

NodeNode节点节点

一个计算节点就是一个计算机一个计算节点就是一个计算机, , 包含一个或者多个处理器包含一个或者多个处理器..

作业作业 / / 任务概念模型任务概念模型

交互作业交互作业 批处理作业批处理作业

允许用户申请保留若干节点而不先指定允许用户申请保留若干节点而不先指定任务任务

用户制定一个包含若干任务的作业用户制定一个包含若干任务的作业

作业调度作业调度

Head Node节点管理器

客户机

计算节点

Admission

Allocation

Activation

Jobs/Tasks

提交作业的背后提交作业的背后

任务的执行任务的执行调度器调度器

为任务申请节点为任务申请节点

选定时间，执行，清除选定时间，执行，清除

错误恢复机制错误恢复机制重试重试

失败的节点上的作业自动重新安排失败的节点上的作业自动重新安排

所有都在一个安全的上下文中所有都在一个安全的上下文中计算节点使用用户的安全上下文执行任务计算节点使用用户的安全上下文执行任务

加密的客户端加密的客户端--调度器调度器--计算节点的通讯计算节点的通讯

其他其他Message Passing Interface (MPI): Message Passing Interface (MPI): 任务在各个节任务在各个节点之间通讯的点之间通讯的APIAPI

网络网络: : 驱动支持通过驱动支持通过WinSock DirectWinSock Direct技术，更快速的技术，更快速的网络通讯。网络通讯。

Head Node

Scheduler

Compute NodeApp

MPI

Network Driver

Compute NodeApp

MPI

Network Driver

Fast Network

Client

2005年9月28日6时58分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 4

Secure channelSecure channel

credentialcredential

从头到尾的安全性从头到尾的安全性

Node MgrNode MgrNode MgrSecure channelSecure channel

credentialcredentialClientClientClient SchedulerSchedulerScheduler

MSDEMSDEMSDE

Data Protection APIData Protection API

credentialcredential

TaskTaskTask

SpawnSpawn

Logon Logon tokentoken

Logon as userLogon as user

DB/FS

ActiveActiveDirectoryDirectory

DataData

KerberosKerberos

KerberosKerberosLSALSA

Automatic Ticket renewalAutomatic Ticket renewal

MPI & MPI & 网络网络

什么是什么是MPIMPI

MPIMPI是个开放的平台是个开放的平台..

MPIMPI是一个标准是一个标准, , 有许多不同的实现有许多不同的实现, , 比如比如MPICH2, MS MPIMPICH2, MS MPI等等..

MPIMPI包含两部分包含两部分针对针对ISVsISVs: 160: 160个以上的个以上的API (API (大多数时候大多数时候, 10, 10个方法就足够了个方法就足够了))

针对用户针对用户: : 从命令行或者图形界面工具来启动从命令行或者图形界面工具来启动作业作业

抽象了通信概念使得更容易建立并行程序抽象了通信概念使得更容易建立并行程序. . [[但是它没有足够简单到用在通用场合但是它没有足够简单到用在通用场合]]

MS MPIMS MPI

MS MPI MS MPI 基于（兼容）开放代码的基于（兼容）开放代码的MPIMPI参考参考实现实现Argonne National LabArgonne National Lab’’s MPICH2s MPICH2

为什么我们要选择为什么我们要选择MPI?MPI?MPIMPI在并行计算消息传递在并行计算消息传递APIAPI中的主要协议。中的主要协议。

MPIMPI被广泛地在现有应用中使用被广泛地在现有应用中使用

如果使用如果使用CCPCCP一定要选择一定要选择MS MPIMS MPI吗吗??不不, , 你可以使用任何你想要使用的你可以使用任何你想要使用的MPIMPI实现实现. .

但是但是, MS MPI, MS MPI实现提供了额外的安全特性是实现提供了额外的安全特性是别的实现所没有的别的实现所没有的..

MS MPIMS MPI和和MPICH2MPICH2

MS HPCMS HPC目标是保持和目标是保持和MPICH2MPICH2这个参考实现最大的这个参考实现最大的兼容性兼容性..

对于对于ISVISV

Full compatibility for ISVFull compatibility for ISV’’s using MPI APIs using MPI API’’s. s.

除了以下的改动除了以下的改动::CCP CCP 作业调度器的支持作业调度器的支持

CCP CCP 安全模型安全模型

不影响不影响APIAPI的针对的针对WindowsWindows的性能优化的性能优化

所以所以, , 区别主要集中在作业的执行和管理上区别主要集中在作业的执行和管理上: : MPIExecMPIExec, MPI Daemon (SMPD), MPI Daemon (SMPD)

pwdfilepwdfile, delegate, impersonate, , delegate, impersonate, localrootlocalroot, , remove, remove, sethostssethosts, etc. , etc.

网络网络

利用利用Winsock DirectWinsock Direct来达到高性能来达到高性能 ((延迟和延迟和带宽带宽) ) 和对和对CPUCPU的有效利用的有效利用. .

提供集成多种网络结构的可能提供集成多种网络结构的可能

目标是可以使用业界的多种标准互连的结构目标是可以使用业界的多种标准互连的结构

使用千兆以太网使用千兆以太网, , 以低的代价建立快速网络以低的代价建立快速网络

对于对延迟和带宽敏感的应用使用对于对延迟和带宽敏感的应用使用InfinibandInfiniband

2005年9月28日6时58分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 5

部署部署

Compute Cluster Compute Cluster 安装光盘安装光盘

Plato is comprised of 2 CDsPlato is comprised of 2 CDsCD1CD1

Windows Server: Compute Cluster Edition (CCE)Windows Server: Compute Cluster Edition (CCE)

和和Windows Server 2003, SP1 Windows Server 2003, SP1 完全同样的版本完全同样的版本

CCE CCE PIDsPIDs restrict server usagerestrict server usage

和和NASNAS或者或者WebWeb版本的限制类似版本的限制类似

不能用于一般服务器，不能用于一般服务器，EmailEmail服务器，数据库服务器服务器，数据库服务器

价格相对于标准版更有优势价格相对于标准版更有优势

用户需要另外购买标准的版本如果需要用作一般的服务器。用户需要另外购买标准的版本如果需要用作一般的服务器。

CD2CD2

并行计算的其他组件并行计算的其他组件

Microsoft job schedulerMicrosoft job scheduler

Deployment and administration toolsDeployment and administration tools

Microsoft MPI stackMicrosoft MPI stack

SDKSDK

CD 2 CD 2 安装选项安装选项Head NodeHead Node

Compute NodeCompute Node

SDK & UtilitiesSDK & Utilities

简单的控制节点的安装简单的控制节点的安装在第一个版本在第一个版本, , 控制节点只能安装在控制节点只能安装在x64x64的以下平台上的以下平台上::

Windows 2003 Compute Cluster EditionWindows 2003 Compute Cluster Edition

Windows 2003 SP1 Standard & EnterpriseWindows 2003 SP1 Standard & Enterprise

Windows 2003 R2Windows 2003 R2

为什么只有为什么只有x64x64？？？？

结束结束添加计算节点添加计算节点

开始开始使用第一张光盘安装操作系统使用第一张光盘安装操作系统..

管理员使用第二张光盘安装控制节点管理员使用第二张光盘安装控制节点

To Do To Do 列表将自动运行列表将自动运行. . 管理员培植公网管理员培植公网,,私网私网

以及以及MPIMPI网络网络, , 并且配置并且配置RIS(RIS(可选可选))

多样的计算节点安装多样的计算节点安装

三种方法来添加一个计算节点到集群三种方法来添加一个计算节点到集群

通过通过RISRIS自动安装自动安装. . ““开机即可开机即可””

使用定制的应用程序调用使用定制的应用程序调用 setup.exesetup.exe --

computenodecomputenode:<:<HeadnodenameHeadnodename> > 来安装来安装

用用CD2CD2手工安装计算节点手工安装计算节点

节点已经手工安装完成节点已经手工安装完成

执行添加计算节点向导

自动还是手动

手动手动

自动自动

RISRIS将会自动安装节点将会自动安装节点

MPIMPINetworkNetwork

私网私网

公网公网

公司公司ITIT的架构的架构

计算节点计算节点控制节点控制节点

ADADDNSDNSDHCPDHCP

Windows Windows UpdateUpdate

MonitoringMonitoring•• MOMMOM•• 33rdrd partyparty

SystemsSystemsManagementManagement•• SMSSMS•• 33rdrd partyparty

计算集群

典型的集群拓扑典型的集群拓扑

Admin / User ConsAdmin / User Cons

RISRIS

Job SchedulerJob Scheduler

MPIMPI

ManagementManagement

NATNAT

Node ManagerNode Manager

MPIMPI

ManagementManagement

计算节点计算节点

Node ManagerNode Manager

MPIMPI

ManagementManagement

管理管理

2005年9月28日6时58分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 6

新的基于新的基于SDMSDM管理架构管理架构

AdminAdmin AdminAdmin

ConsoleConsole

SDM StoreSDM Store

Head NodeHead Node每个计算节点每个计算节点

RIS ModelRIS Model

Computer ModelComputer Model

Cluster ModelCluster Model

Cluster Management ServiceCluster Management Service1. 1. 修改请求修改请求

2. 2. 更新更新SDMSDM

3. 3. 通知节点通知节点

SDMSDM包括以下信息包括以下信息::•• 集群的拓扑结构集群的拓扑结构

•• 集群集群的模块的模块

•• 集群集群模块之间的关系模块之间的关系•• 以及其他和模块相关以及其他和模块相关, , 在以后的的部署和运行过程中需要的数据在以后的的部署和运行过程中需要的数据..

ManagementManagement

新的管理界面新的管理界面

使用使用MMC 3.0MMC 3.0建立管理界面建立管理界面

集群管理员使用集群管理员使用MMCMMC

55个子功能个子功能

开始页开始页

To Do To Do 列表列表

节点管理节点管理

远程桌面远程桌面

性能监视器性能监视器

管理界面管理界面 （（开始页开始页））提供基本集群状态的监视提供基本集群状态的监视

管理界面管理界面 （（ To DoTo Do列表）列表）提供给集群管理者一个需要完成的配置项的列表提供给集群管理者一个需要完成的配置项的列表

针对节点的多个功能针对节点的多个功能//动作动作

管理界面管理界面 （（节点管理）节点管理） 用性能计数器监视集群用性能计数器监视集群

队列的性能计数器队列的性能计数器# of running, pending, failed, canceled, finished Jobs in # of running, pending, failed, canceled, finished Jobs in queuequeue

# of running, pending , failed, canceled, finished tasks # of running, pending , failed, canceled, finished tasks in the queuein the queue

节点的性能计数器节点的性能计数器# of total nodes# of total nodes

# of idle, paused, unreachable and ok nodes# of idle, paused, unreachable and ok nodes

Percentage of idle, paused, unreachable and ok nodesPercentage of idle, paused, unreachable and ok nodes

# of CPUs in cluster# of CPUs in cluster

# of CPUs in use in cluster# of CPUs in use in cluster

操作系统的基本性能计数器操作系统的基本性能计数器 (CPU, memory, (CPU, memory, logical/physical disk, networklogical/physical disk, network……))

2005年9月28日6时58分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 7

作业提交和监视作业提交和监视 资源资源

http://www.microsoft.com/hpchttp://www.microsoft.com/hpc

Microsoft.public.windows.hpcMicrosoft.public.windows.hpc

DemoDemo