ינואר 2003אלן אזאגורי ©1 Object Storage אלן אזאגורי.

2003ינואר אלן אזאגורי © 1

Object Storage

אלן אזאגורי

2003ינואר אלן אזאגורי © עמוד2

נושאים

מבנה מערכות אחסוןהגישה למערכות אחסון

העלאת רמות ההפשטה מתחילה...–

-מהפכת הStorage Area NetworksSANsהבטחות )ואכזבות( ב-–

הגדרהObject Storageואלו בעיות הוא מתימר לפתור...–

מערכות מבוססותObject Storage


מבנה מערכות אחסוןApplication

File system

Database

Block Storage

Read/write recordRead/write file

Read/write block


נושאים







רמות הפשטה א'Cylinder-Head-Sector

הגישה משקפת את המבנה הפיזי שלהדיסק

–CHS = Cylinder, Head, Sector

head

sector

cylinder


רמות הפשטה א‘בעיה

מערכת הקבצים אחראית על ניהול"סקטורים" משובשים

מערכת קבצים11111011111110111011111111111111111


ב' רמות הפשטהLogical Block Addressing

התיחסות לדיסק כאל מערך חד-מימדישל סקטורים/בלוקים בגודל קבוע

1 0

2

3

4 5

6

7

89

10

11

12 13

14

15


ב' רמות הפשטהSector Sparingיתרונות –

כאשר הדיסק מזהה שסקטור מתחיל"לזייף", הוא ממפה אותו לסקטור חילופי

1 0

2

3

4 5

6

7

89

10

11

12 13

14

15

... ...

2

13

Sector Sparing


רמות הפשטה נוספות

Logical Block Addressממסך סקטורים משובשים–

RAIDממסך נפילה של דיסק שלם–

Logical Volume Manager/ Storage Controller

מאפשר מיפוי גמיש של דיסקים לוגיים מעל דיסקים –פיזיים

...


נושאים







From Direct Attached Storageto Network Attached Storage…

Application

File system

Database

Block Storage

שרת

DAS

Application

File system

Database

Block Storage

שרת

NAS

NetworkNetwork


…to Storage Area Networks

Application

File system

Database

Block Storage

שרת

SAN

שרת אחסון

NetworkNetwork


שילוב טכנולוגיותApplication

File system

Database

Block Storage

שרת קבצים / מסד נתונים

שרת אחסון

NetworkNetwork

שרת אפליקציה

NetworkNetwork IPרשת: בד"כ NFS, CIFSפרוטוקול:

FibreChannelרשת: בד"כ FCP ( SCSI)פרוטוקול


SANsהבטחות גישה לנתונים ללא מתווכים

Application

File system

Database

Block Storage


שרת אחסון

NetworkNetwork


NetworkNetwork

Data

Control


SANsהבטחות שיתוף דיסקים

File system

Database


NetworkNetwork

Application


NetworkNetwork

Data

Control

Application


Application


Application


Application

שרת אפליקציהApplication

Applicationשרת אפליקציה


Block Storage

שרת אחסוןBlock Storage

Block Storageשרת אחסון

שרת אחסון


SANsבעיות שצצות ב-

– הבטחה בגישה לנתוניםSecure Accessאין בפרוטוקול גישה לדיסק אמצעי להבטחת –

המידעהשרת היה אחראי לאבטח את הנתונים •לא היתה גישה ישירה אליהם•

גישה לסקטור אחד יאפשר גישה לכל סקטור–"הדיסק הוא יחידה "טפשית

רוב הפעולות מחייבות תיאום–למשל, הגדלת קובץ•


נושאים







Object Storage

Today's Block Device

Operationsread blockwrite block

Security WeakFull disk

AllocationExternal

Operationsread object offsetwrite object offsetcreate objectdelete object

Security StrongPer Object

AllocationLocal

Object Store


Object Store Operations

Basic Operations Create Object Delete Object Write Offset in Object Read Offset in Object

Administrative Operations Basic abstract flow

Create an object, getting back an object ID Clients responsibility to remember the ID

Send requests to read and write the object given the ID Delete the object when done using


Object Store Security

All operations are secured by a credential Security achieved by cooperation of:

Admin - authenticates, authorizes and generates credentials.

ObS - validates credential that a host presents.

Credential is cryptographically hardened ObS and admin share a secret

Goals of Object Store security are: Increased protection/security

At level of objects rather than whole LUs Hosts do not access metadata directly

Allow non-trusted clients to sit in the SAN

Allow shared access to storage without giving clients access to all data on volume

Client

Object Store

Security Admin

Shared Secret

Authorization Req

CredentialCredential


Object Store OperationsRead

Read Parameters: Object Store ID, Object ID, Offset, Length, Credentials Basic steps an object store must provide

Receive request Validate credentials Find allocation data for indicated object

Map offset and length to a collection of LBAs in an underlying block storage Stage the data if necessary Gather the data and return to the host

Issues and Variants Block alignment Read of non-allocated data )sparse vs. past "end" of object(


Object Store OperationsWrite

Write Parameters: Object Store ID, Object ID, Offset, Length, Credentials, Data Basic steps an object store must provide

Receive request Validate credentials Find allocation data for indicated object

Determine if the indicated range is already bound to a collection of underlying LBAs

If not already bound Determine the mapping Update the metadata

Destage the data to the indicated LBAs Issues/Variants

Use of a non-volatile write cache Late binding

Hardening the metadata updates Ensuring metadata updates are only modified if data is hardened Block alignment


TypeDoes the credential apply to a specific object or entire object store

Object RightsRead, Write, Append, Truncate, Create )given an ID(, Delete, Info

Object Store (ObS) RightsFormat, Create )ObS generates ID(, Info on Object Store

Ver(sion)Used to allow the credential to time out

Object Rights ObS Rights

Type Object IDObS ID WR A T F C* I*C D I Ver

Capability Structure


CapabilityOperations that the credential entitles

Encrypted SecretA Secret generated by the Admin

A different secret for every credentialEncrypted with a key Admin shares with the ObS

MAC -- Message Authentication CodeStandard cryptographic hash on the capability and the encrypted secretEnsures host cannot alter/forge a credential

Secret The )un-encrypted( secretUsed by the client to verify that it got the credential form the Admin

Capability Encrypted Secret MAC Secret

Admin Client

Client ObS

public credential private credential

Credential Structure


נושאים







4

Client

File Manager

Block Device

11. Create File2. Return allocation bitmap3. I/O )unsecured(4. Request additional

allocation bitmap5. Return allocation bitmap6. I/O )unsecured(7. Return actual allocation

data to File Manager

63

25 7

SAN File System without an Object Store


Client

File Manager

Object Store

11. Create File2. Return Locks and

Credentials3. Create Object and perform

I/O with Credentials4. I/O with Credentials

2

3 4

SAN File System with an Object Store


Blocks vs. Objects vs. Files

FastestSmall set of operationNo connection to user’s abstractionDumb deviceNo security

FastSmall set of operationsObject usually maps to user abstractionLocal space managementEnable end-to-end managementSecure

SlowRich set of operations )sometimes more than what the application requires(

LockingHierarchical name service…

File usually maps to user abstractionSecure )depending on the protocol(

Block Storage Object Storage File Storage


Object StoresFirst big push

Garth Gibson, et al., NASD -- CMU, PanasasEMC Centera

Claims to be an object storeLustre and Object Store Target )LLNL(DSF Storage Manager. . .

DriversiSCSI

IP access to storage exasperates SAN security problemsData Sharing Facility )DSF(

A highly scalable research file system which incorporated an object-store like component to ensure local space allocation

Storage Tank and other SAN file systemsShared access requires SAN security )or trusted clients!(

How Real Are Object Stores?


מידע נוסף

A. Azagury, R. Canetti, M. Factor, S. Halevi, E. Henis, D. Naor, N. Rinetzky, O. Rodeh, J. Satran, "A Two Layered Approach for Securing an Object Store Network," First IEEE International Security In Storage Workshop, Greenbelt, MD, Dec 2002.

A. Azagury, V. Dreizin, M. Factor, E. Henis, D. Naor, N. Rinetzky, O. Rodeh, J. Satran, A. Tavory, L. Yerushalmi, "Towards an Object Store", 20th Symposium Mass Storage Systems & Technologies MSST03 (to appear).

ינואר 2003אלן אזאגורי ©1 Object Storage אלן אזאגורי.

Documents

Transcript of ינואר 2003אלן אזאגורי ©1 Object Storage אלן אזאגורי.