泉云系统实践

大数据应用思考

山东省计算中心（国家超级计算济南中心），王继彬，系统架构师

提纲

泉云系统介绍 系统功能特色 大数据应用案例 实践思考

3 泉云系统介绍-发展历程

平台建设，进入试

运行阶段；省经信

委授权成立“山东

省云计算中心”

成立“山东省云计算

应用技术创新战略联

盟”，建设“中小企

业云”、“园区云”

成立“山东省云计

算产业联盟”

成立“山东省云计

算工程技术研究中

心” 建设“政务数

据交换平台”

成立“山东省云计

算工程实验室”

建设“工业云”

中心专项支持云平

台建设，并与16年

启动“超大云”平

台建设

2010 2011 2012 2013 2014 2015-17

4 泉云系统介绍-研发历程

PaaS平台管理系统1.0版本发布

SaaS平台管理系统1.0版本发布 泉云1.0系统研发

SaaS平台管理系统2.0版本发布

PaaS平台管理系统2.0版本发布

泉云1.0系统发布

泉云1.0支撑系统研发

泉云2.0启动研发

5 泉云系统介绍-IaaS平台

子系统

运营系统(hua)

运维系统(tai)

服务管理系统（song）

配置系统(huang)

工单系统(yandang)

自服务系统(heng)

负责整个平台的物理资源、虚拟资源的管理和监控

负责全平台接口访问控制、分发等

负责系统的安装和配置

整合运维、运营和子服务系统工单推送和处理

前端用户系统，负责虚拟资源的创建、使用及管理

配合工单系统、运营系统完成平台运营管理

6

运维应用 自服务应用 运营应用

CCompute

SStorage

NNetwork

容器服务 监控服务

REST/WebSocket/Socket访问控制中间件 消息中间件

IaaS服务 SaaS服务PaaS服务自研服务

泉云系统介绍-系统架构

业务层

接口层

组装服务层

基础服务层

物理层

7 泉云系统介绍-PaaS平台

uaa

service

cloud controller

dea

app app

ccdb

natsrouter

stager

health manager

业务系统

8 泉云系统介绍-PaaS平台

App

service gateway

创建 绑定

system service

使用绑定

使用

service broker

企业服务

9 泉云系统介绍-SaaS平台

ISV应用CRM

ISV应用

OA

租户1 租户2

统一用户认证与授权（单点登录）

EC管理员 普通用户1 普通用户2

运营管理员

多租户/租户隔离

用户认证单点登录

计量计费

平台接口

ISV应用集成

资源伸缩扩展

软件交互

SaaS生命周期

10 泉云系统介绍-部署架构

泉云云计算平台部署架构

11 泉云系统介绍-2.0系统功能特色

云主机

物理云主机 应用容器 国产HPC主机 通用HPC主机 GPU主机

NAT网关 私有网络VPC 多线网络 专线接入 负载均衡

云硬盘 对象存储 文件存储 归档存储 数据保护

SQLserver Mysql PostgreSQL

公众性推荐 专业性推荐 数据集成 基础数据平台

数据审计 监控服务 开放API服务

HBase Memcache Redis MongoDB

结构化数据库

非结构化数据库

12 系统特色-接口层

1. 支持功能

• 基于REST API

• 访问控制(分析，IP限制，限速，监控，授权)

• 日志处理

2. 架构

• 高可用

• 可扩展

• 高性能（集群）

3. 消息中间件

• 系统平台消息服务

• 子服务消息服务

OpenRestry

13 系统特色-服务层

1. 目标• 整合后端近似服务项目（如监控，日志等）

• 整合后端子服务（如基于虚拟机容器的SaaS，PaaS服务）

PaaS构建于IaaS平台

服务中心

2. 例子

组合服务

组合API

14 系统特色-服务层

1. 监控服务&报警服务

• 平行于平台的服务

• 监控报警信息主动推送

2. 日志服务

• 全平台日志汇集

• 支持在线和实时日志分析

• 依附大数据分析平台

3. 平台服务定制

• 平台级接口定制

• 系统模块定制

• 系统定制

15 系统特色-底层架构

16 系统特色-系统部署

1. 系统架构安全高可用

• 多种系统网络隔离

• SSL加密

• 平台架构高可用

• 平台服务高可用

• 管理系统高可用

2. 系统部署自动化（配置系统huang）

• 能自动不手动

• 尽可能基于Python语言

Foreman（Puppet）+Ansible 或ISO（1.0）

Cobbler + ISO（2.0）

17 系统特色-多端支持

18 大数据应用场景-日志分析

P PPP

自服务系统 运营系统

运维系统

物理资源平台虚拟资源平台

日志大数据分析

实时性高（

Storm）

离线（

Hadoop)

自服务系统

运营系统

虚拟资源

物理资源

监控物理资源输出日志

分析平台中虚拟资源的

运维日志包括使用，

故障及运维日志

推送用户行为日志

推送前端操作日志以及

虚拟资源使用日志

19 大数据应用场景-日志分析

资源维度 运维维度

账单维度 操作维度

购买SaaS服务

充值

账单结算

购买PaaS服务

购买云主机购买硬盘

购买网络

用户登出

用户登录

创建网络

创建云主机

创建云硬盘

绑定云硬盘

云主机销毁

云主机被迁移

云主机编辑请求创建云主机

云主机绑定其他资源

删除云主机

重启

绑定硬盘或IP创建云主机

改名字

20 实践思考

拥抱开源

解决方案（大小）

定制化开发

容器化

安全可靠

https://www.sdcloud.net

谢谢