Nginx + Openstack Swift = Clodo Storage

Cтанислав Богатыревwww.clodo.ru

Такие разные облака

Load Balancing

Content DeliveryContent Delivery

Станислав Богатырев, storage@clodo.ru

Станислав Богатырев, storage@clodo.ru

Хранилище. Какое оно?

● Надёжно хранить данные пользователей● Позволять удобно управлять данными, в том числе через API● Раздавать по HTTP быстро и много● Удобный для пользователя интерфейс (FTP, FS, HTTP, etc)

Станислав Богатырев, storage@clodo.ru

Станислав Богатырев, storage@clodo.ru

Pacemaker/CoroSyncfront-end

hostfront-end

hostback-end

hostback-end

host

SATAXFS

SATAXFS

Hardware

Cluster software

Services

Swift storage

Log & billing

Swift storage

Log & billing

URL/IP

Swift proxy

URL/IP

Swift proxy

Станислав Богатырев, storage@clodo.ru

Pacemaker/CoroSyncfront-end

hostfront-end

hostback-end

hostback-end

host

SATAXFS

SATAXFS

Hardware

Cluster software

Services

Swift storage

Log & billing

Swift storage

Log & billing

URL/IP

Swift proxy

URL/IP

SASReiserFS

SASReiserFS

Swift proxy

NGINX

Cache daemon

NGINX

Cache daemon

Станислав Богатырев, storage@clodo.ru

Pacemaker/CoroSyncfront-end

hostfront-end

hostback-end

hostback-end

host

SATAXFS

SATAXFS

Hardware

Cluster software

Services

Swift storage

Accounts & billing

Swift storage

Accounts & billing

URL/IP

Swift proxy

URL/IP

Swift proxyРезультаты замера производительности:

Максимум 400 запросов в секунду на front-endЗначительная загрузка процессора

Станислав Богатырев, storage@clodo.ru

Pacemaker/CoroSyncfront-end

hostfront-end

hostback-end

hostback-end

host

SATAXFS

SATAXFS

Hardware

Cluster software

Services

Swift storage

Accounts & billing

Swift storage

Accounts & billing

URL/IP

Swift proxy

URL/IP

SASReiserFS

SASReiserFS

Swift proxy

NGINX

Cache daemon

NGINX

Cache daemon

Результаты замера производительности:12000 запросов в секунду на front-endНезначительная загрузка процессора

Станислав Богатырев, storage@clodo.ru

Хочу красивые ссылки!http://cs1.clodo.ru/v1/CLODO_3771b39b07d46e79d61a777c72a91071/

public/images/image01.gif

http://static.domain/images/image01.gif

… и уберите ваш дурацкий /public/

Станислав Богатырев, storage@clodo.ru

Я удалил всё, а это видно!

Станислав Богатырев, storage@clodo.ru

Демон Кеша● Perl● FastCGI

Станислав Богатырев, storage@clodo.ru

Планы на будущее● Проект «Все логи людям!»● Раздача медийного контента● Репликация между ДЦ с возможностью

бэкапа● Авторизация по pubcookie● Swift-proxy в nginx модуле● Http 1.1● Более умный демон Кеша

Станислав Богатырев, storage@clodo.ru

HW

●840Tb SATA●7Tb SAS●512 Gb RAM●30U Rack

SW

●Debian Live●Chef●Pacemaker●Clodo Panel

●840Tb SATA●7Tb SAS●512 Gb RAM●30U Rack

Станислав Богатырев, storage@clodo.ru

Станислав Богатырев storage@clodo.rurealloc@jabber.ru

+7 (812) 380-24-97