Антон Ногинов«Бегун»

Система хранения данных из того, что было под рукой

• Исключительно простой; ● Работает с любым блочным устройством (файлом в понятиях Unix); ● Не зависит от среды передачи;● Маленький оверхед;● Работает на низком уровне и не накладывает дополнительных ограничений на уровнях выше; ● Поддерживается основными операционными системами;● Позволяет строить гибкие схемы; ● Нетребователен к ресурсам системы;

ATA over Ethernet

● Встроенными средствами:

• Linux• OpenBSD• Plan9

● Драйверами сторонних производителей:• FreeBSD• Solaris• Windows

Поддержка АОЕ

● АОЕ-сервер – Target; ● AOE-клиент – Initiator; ● Нумерация дисков в Linux:

/dev/etherd/e1.2 - блочное устройство с shelf=1 и slot=2; /dev/etherd/e3.1p2 — второй раздел блочного устройства с shelf=3 и

slot=1;

Терминология

Клиент – ядерный модуль aoe.ko. Параметры:

aoe_iflist – список сетевых интерфейсов;aoe_deadsecs – таймаут в секундах;

Сервер – vblade. Параметры:

vblade [ -m mac[,mac...] ] shelf slot netif filename

AOE в Linux 2.6

Coraid EtherDrive под микроскопом

Coraid EtherDrive (www.coraid.com)

• Шасси Supermicro;

• Raid-контроллер;

• SATA/SAS диски;

• Опционально — сетевой адаптер;

• Проприетарная OS (видимо, Plan9);

В главных ролях:AOE-сервер (таргет) AOE-клиент (инициатор)

Codename: «Банка» Codename: «Голова»

Cisco WS-C3560G-48TS(в роли самого себя)

Тестовый стенд «Банка»

● шасси SC846, 4U, 24 SATA/SAS диска; ● 1 х 2.66 Ггц Xeon + 2 Гб памяти; ● 3ware 9590SE-16M, 16 SATA-портов; ● 4-х портовая сетевая карта Intel 82571EB; ● 8 Гб usb-флешка для загрузки системы; ● 16 дисков по 1 Тб;

Методика измерений

● Запись 1 большого файла на диск

dd if=/dev/zero of=file.dat bs=128M/256M/512M/1G ● Запись большого числа файлов на диск

cp -rp /usr .

Итерация 1: portchannel

bond0

● Загрузка канала на 25%;● Производительность в районе 50­70 мб/сек;

bond0

Итерация 2: 4 страйпа по 4 проводам

eth0 — eth3 eth0 — eth3

● Загрузка канала на 60%;● Производительность в районе 100­120 мб/сек;

4 отдельных vlan-а

Итерация 3: ?????

Итерация 4: PROFIT!

eth0 — eth3 eth0 — eth3

● Обновление драйверов; ● Загрузка канала на 80%;● Уверенные 350 мб/сек;

4 отдельных vlan-а

● Включение Jumbo на всей сети; ● Установка MTU, кратного размеру блока FS, страйпа LVM и АТА-

комманды для минимизации оверхеда;

Тюнинг

Запись данных – 350 Мб/сек. Чтение данных – 380 Мб/сек.

● Кэширование на уровне файловой системы; ● Кэширование в Raid-контроллере;

Итоговая производительность

900 Мб/сек.

● aoe_deadsecs – позволяет отмонтировать файловую систему и выгрузить драйвер;

● Время переключения на другую «голову» - единицы минут; ● Ethernet-оборудование – всегда доступно у поставщиков;

Что-то сломалось?

● Подключение 2-й, 3-й, n-ой «банки»;● Экспорт всего LVM-раздела с «головы» как отдельного AOE-

устройства; ● Экспорт дискового пространства с «головы» любыми другими

протоколами; ● Практическое ограничение размера диска – максимальный размер

LVM logical volume, 8 Эб;

Масштабируемость

● «Сборочная фабрика» из tmpfs; ● Географически распределенное зеркало; ● «Общий диск»;

Примеры нетрадиционного использования

Ответы?