NoSQL OLTP Benchmarking: A Survey - DMC 2014
47
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion NoSQL OLTP Benchmarking: A Survey DMC 2014 Steffen Friedrich, Wolfram Wingerath, Felix Gessert, Norbert Ritter University of Hamburg Department of Informatics Databases and Information Systems September 22 nd , 2014 Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 1/24
Transcript of NoSQL OLTP Benchmarking: A Survey - DMC 2014
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
NoSQL OLTP
Benchmarking: A SurveyDMC 2014
Steffen Friedrich, Wolfram Wingerath, Felix Gessert,
Norbert Ritter
University of Hamburg
Department of Informatics
Databases and Information Systems
September 22nd, 2014
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 1/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
1 Introduction
2 Existing Benchmarks
3 NoSQLMark
4 Future Prospects
5 References
6 Discussion
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 2/24
(Das gehört eigentlich zur Titelfolie, aber da bekomme ich ohne Aufwand keinen Kommentar hin.) Guten Tag! Mein Name ist XY, dies ist mein Kollege XY und dort drüben sitzt unser Kollege Felix Gessert. Wir kommen von der Uni Hamburg und beschäftigen uns schwerpunktmäßig mit Cloud-basierter Datenhaltung, skalierbaren Datenbanken und insbesondere auch mit deren Performanzcharakteristika. In diesem Vortrag wollen wir einen Überblick über OLTP-Benchmarks von – in der Regel verteilten – NoSQL-Datenbanken geben und unseren eigenen Ansatz dazu vorstellen. Dabei legen wir den Fokus auf die Messung und Bewertung von Konsistenz.
Zunächst geben wir einen kurzen Überblick darüber, wie und hinsichtlich welcher Kriterien man verteilte Datenbanksysteme überhaupt vergleichen kann, und stellen den Yahoo! Cloud Serving Benchmark – oder kurz: YCSB – als den de-facto-Standard für NoSQL-OLTP-Benchmarks vor. Danach stellen wir die Kernideen zur Messung von Konsistenz vor, die derzeit in der Forschung verfolgt werden, und zeigen die größten Schwierigkeiten dabei auf. Nach einer kurzen Zusammenfassung der Probleme beim Benchmarking verteilter Datenbanksysteme fassen wir die Konzepte zusammen, die unserer Arbeit im Bereich Benchmarking zu Grunde liegen. Im Ausblick-Teil erwähnen wir interessante Arbeiten, die wir hier nicht im Detail besprechen können, und ganz am Ende haben wir hoffentlich noch Zeit für Fragen.
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
How to Compare Databases
by specification
docs are incomplete
docs are wrong
design?→ performance
Through Benchmarking
general-purpose: widely applicable
application-specific: arguably more meaningful
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 3/24
Grundsätzlich kann man Datenbanken anhand ihrer Spezifikation (Doku) vergleichen. Das macht auch auf einem sehr hohen Level Sinn, etwa bei der Auswahl eines geeigneten Datenmodells, kann aber nicht dazu dienen, die Tauglichkeit eines Systems für einen bestimmten Anwendungsfall verlässlich zu bewerten. Einerseits entspricht die verfügbare Dokumentation bei vielen Systemen nicht der tatsächlichen Funktionalität (Beispiel: ???). Manche Aspekte werden in der Dokumentation auch schlichtweg falsch dargestellt (Beispiel: „Writes in Cassandra sind durable“. Und selbst wenn alle Implementationsdetails wahrheitsgemäß beschrieben wären, ließe sich die tatsächliche Performanz daraus nicht ableiten. Schwächen in der Implementation könnte man so ebenfalls nicht entdecken. An der Uni Hamburg beschäftigen wir uns mit beiden Formen des Vergleichs: Derzeit arbeiten wir an einem Survey über NoSQL-Datenbanken und entwickeln ebenfalls einen Benchmark. Benchmarks lassen sich ganz abstrakt und grob in zwei Klassen unterteilen: general-purpose-Benchmarks, die nach keinem konkreten Anwendungsszenario entwickelt wurden, und anwendungsspezifische Benchmarks. Je allgemeiner ein Benchmark anwendbar ist, desto leichter und wahrscheinlicher ist auch seine Verbreitung. Allerdings sind Erkenntnisse für ein bestimmtes Anwendungsszenario auch leichter abzuleiten, wenn dieses Szenario im Benchmark gut abgebildet wird.
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB [CST+10]A Solid Foundation
Command line properties
• DB to use
• Workload to use
• Target throughput
• Number of threads
• ...
Workload file
• Read /write mix
• Record size
• Popularity
distribution
• ...
YCSB Client
Work
load
Exe
cuto
r
Stats DB
Inte
rface
La
yer
Client
Threads
Create
Read
Update
Delete
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 4/24
Der YCSB (Yahoo! Cloud Serving Benchmark) ist praktisch der erste leicht verwendbare Benchmark für Datenbanken mit Key-Value-Funktionalität, der allgemein akzeptiert ist. Er ist ein general-purpose-Benchmark, d.h. geist nicht an eine konkrete Anwendung angelehnt, sondern feuert einen Workload-Mix (also eine Mischung aus Lese- und Schreiboperationen) gegen die zu testende Datenbank ab. Seine Benutzung erfordert lediglich die Implementation eines Interface für CRUD-Operationen plus Scan, weshalb es für Praktisch jedes relevante Datenbanksystem einen YCSB-Adapter gibt. Ein YCSB Client führt eine Workload-Datei aus (links im Bild), die Durchsatz, Verhältnis der unterschiedlichen Operationen (read/scan/insert/update/delete) und Popularität der einzelnen Objekte (Hotspots) festlegt. Alle weiteren Parameter (Datenbank etc.) werden per Kommandozeile spezifiziert. Die einzelnen Bestandteile des YCSB besprechen wir aus Zeitgründen nicht weiter; sie sind auch nicht relevant für unseren Vortrag. Die Vorteile des YCSB sind die einfache Benutzung, die weite Verbreitung und die breite Einsetzbarkeit. Allerdings ist der Benchmark selbst nicht verteilt, erfasst nur Latenz und Durchsatz und berücksichtigt nur sehr simple Funktionalität, so dass vergleiche zwischen den teilweise sehr hochspezialisierten Systemen, die wir betrachten, nur unter Vorbehalt zu genießen sind.
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Dimensionsof Interest
latency and throughput
availability
direct
steady-state
consistency
staleness (version-based, time-based)
ordering guarantees
durability
transactions
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 5/24
Neben Latenz und Durchsatz, die vom YCSB bereits gemessen werden, gibt es weitere interessante Aspekte. Von besonderer Bedeutung sind dabei aus unserer Sicht Verfügbarkeit und Konsistenz. Bei der Verfügbarkeit ist beispielsweise interessant, welchen Durchsatz/welche Latenz ein System während eines Serverausfalls leistet („direct “) und wie schnell es sich erholt. Die Verfügbarkeit nach der Erholungsphase ist allerdings ebenfalls interessant („steady-state“); Eine mögliche Fragestellung wäre zum Beispiel „Leistet das System 3/4 der Performance, wenn einer von vier Servern ausgefallen ist?“. Bezüglich der Konsistenz gibt es verschiedene interessante Aspekte: Staleness: wie alt sind die gelesenen Daten?; ordering guarantees: In welcher Reihenfolge werden schreiboperationen sichtbar?; Durability: welche Fehlerszenarien überstehen Daten, die geacked wurden?; Transaktionen: welche Form von Transaktionen bietet ein System an? Was für Invarianten kann es garantieren?
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
ConsistencyStaleness [RGA+ 12]
w(x0) r(x0)
W(X 1) r(x1)
w(x2)
max inconsistency window Δ= max(χ1, χ2)
χ1
χ2
time
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 6/24
Wir sehen in der Abbildung, dass 3 verschiedene Schreiboperationen auf Objekt X stattgefunden haben, welches dann 2 mal gelesen wurde. X0 war der aktuelle Wert, bis er von X1 überschrieben wurde, und entsprechend war X1 aktuell, bis die Schreiboperation zu X2 abgeschlossen war. Die beiden Chi geben jeweils an, man nach einer Schreiboperation das letzte Mal ein älterer wird gelesen wurde. HP Labs definieren das maximale Inc. Window als das größte während einer Workload beobachtete Chi.
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
ConsistencyOrdering Guarantees
data-centric
linearisability
eventual consistency
causal consistency
. . .
client-centric
monotonic read
monotonic write
write follows read
read your writes
. . .
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 7/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Existing Benchmarks
2 Existing Benchmarks
Wada et al. [WFZ+11]
Bermbach et al. [BT11, BT14, Ber14]
YCSB++ [PPR+11]
Wrap-Up
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 8/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Wada et al. [WFZ+11]Simple Consistency Measurement
Reader
Writer
read tw=2, tr=5
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 9/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Wada et al. [WFZ+11]Simple Consistency Measurement
Reader
Writer
read tw=2, tr=5
read tw=3, tr=6
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 9/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Wada et al. [WFZ+11]Simple Consistency Measurement
Reader
Writer
read tw=2, tr=5
read tw=3, tr=6
staleness => 5 3 = 2
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 9/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Wada et al. [WFZ+11]Simple Consistency Measurement
Reader
Writer
read tw=2, tr=5
read tw=3, tr=6
simplistic
workload !
only one node => sticky sessions
two nodes => clock drift
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 9/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
staleness: 8 3 = 5
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
staleness: 16 3 = 13
clock drift = 10
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Bermbach et al. [BT11, BT14, Ber14]Distributed Readers
YCSB
Reader 1
Reader 2
Writer
staleness: 16 3 = 13
clock drift = 10
disrupted
YCSB
workload
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 10/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
possibly consistent between 7 and 10
but lower bound: 6 5 = 1
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
possibly consistent between 7 and 10
but lower bound: 6 5 = 1
YCSB++ (no lower/upper bound): 11 - 5 = 6
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]
YCSB++
Writer
YCSB++
Reader
possibly consistent between 7 and 10
but lower bound: 6 5 = 1
YCSB++ (no lower/upper bound): 11 - 5 = 6
runs normal
workload
Zookeeper
x
only inserts
network latency,
even if writer and reader
on same node
disrupted
YCSB
workload
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]Possible Improvements
YCSB++
Writer
YCSB++
Reader
Zookeeper
x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]Possible Improvements
YCSB++
Writer
YCSB++
Reader
1. subscribe for x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]Possible Improvements
YCSB++
Writer
YCSB++
Reader
1. subscribe for x
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
YCSB++ [PPR+11]Possible Improvements
YCSB++
Writer
YCSB++
Reader
1. subscribe for x
lower bound: 6 5 = 1
upper bound: 13 - 2 = 11
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 11/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Wrap-UpDifficulties in Comparing NoSQL Datastores
distribution of both tested system and testenvironment
what time is it?
system state?
. . .
apples and oranges
sweet spots
consistency models
durability guarantees
sharding and replication strategies
. . .
Measurement schemes
metrics?
when and where?
observer effect: disruptive workloads ↔ precision
draw conclusionsFriedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 12/24
O.k., ich fasse dann mal unsere Erkenntnisse bezüglich des Vergleichs von NoSQL-Datenbanken zusammen: Zunächst ist ein offensichtliches Problem bei der Bewertung von verteilten Systemen die Verteilung. Sowohl das zu testende als auch die Testumgebung sind verteilt und die Synchronisation von lokalen Uhren ist immer ein Problem. Man kann im Prinzip
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
NoSQLMark
embedded pub-sub: reduced network communication
configurable disruption: proportion, frequency etc.
of consistency reads are tunable
unified workload: no separation between workload
and consistency measurement operations
lower and upper bounds for staleness
experimental verification through a single-node
datastore featuring controllable anomalies
(to-be-published separately)
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 13/24
Kommunikation übers Netzwerk Kleine Buchstaben findet nur bei separaten Knoten statt und ansonsten über Interprozesskommunikation.
Man kann einstellen, bei wie vielen Schreiboperationen die Konsistenz (Staleness) gemessen werden soll; die Frequenz, in der der Reader pollt, kann ebenfalls eingestellt werden.
Operationen zur Konsistenzmessung werden in den geplanten Durchsatz einbezogen
Vorteil: Wenn untere und obere Grenze stark divergieren, liegt offensichtlich ein Kommunikationsproblem zwischen Writer und Reader vor, da der Reader direkt nach der Benachrichtigung erfolgreich gelesen hat (untere Grenze). Es wurde also entweder der Startbefehl von Writer zu Reader oder die Empfangsbestätigung von Reader zu Writer verzögert.
Wir haben einen simplen Key-Value Store entwickelt, der derzeit Staleness simulieren kann. Somit können wir beliebige Replikationsmechanismen simulieren und die eingestellten Werte für Staleness mit den durch den Benchmark ermittelten abgleichen. Dabei haben wir beispielsweise festgestellt, dass bei YCSB++ weder obere noch untere Grenzen misst. Wir arbeiten daran, auch andere Anomalien konfigurierbar zu machen, um etwa auch Transaktions- oder andere Benchmarks überprüfen zu können. Zu diesem Key-Value Store wird es eine separate Veröffentlichung geben.
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Future Prospects
4 Future Prospects
Robustness & Availability
Specificity
Staleness Prediction
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 14/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Robustness & AvailabilityFasten Your Seat Belts!
system performance and availability under node,
network and other failures
→ Under Pressure Benchmark (UPB) [FMA+13]
→ Thumbtack YCSB [NE13, Eng13]
additional failure scenarios such as partitions →MUST READ: Jepsen blog series
(http://aphyr.com/tags/jepsen)!
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 15/24
Es gibt bereits einige Untersuchungen zu Verfügbarkeit und die bebilderte TV
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Specificity
account for richer data models
application-specific workloads
→ BG Benchmark [BG13]
less disruptive workloads
→ HP Labs [RGA+12, GLS11]
additional features such as bulk loading
→ YCSB++
or multi-key transactions
→ YCSB+T [DFNR14])
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 16/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Staleness Prediction
Probabilistically Bounded Staleness (PBS) [BVF+12]
Dynamo-style systems only
version- and time-based staleness
→ monotonic read consistency
. . . coming soon: probabilistic staleness prediction
of arbitrary caching strategies on top of arbitrary
database topologies with YMCA (YCSB Monte
Carlo Caching Simulator)
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 17/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
References I
Bermbach, David:
Benchmarking Eventually Consistent Distributed Storage Systems.
Karlsruhe, KIT, Fakultät für Wirtschaftswissenschaften, Phdthesis,
2014
Barahmand, Sumita ; Ghandeharizadeh, Shahram:
BG: A Benchmark to Evaluate Interactive Social Networking Actions.
In: CIDR, 2013
Bermbach, David ; Tai, Stefan:
Eventual Consistency: How Soon is Eventual? An Evaluation of
Amazon S3’s Consistency Behavior.
In: Proceedings of the 6th Workshop on Middleware for Service
Oriented Computing.
New York, NY, USA : ACM, 2011 (MW4SOC ’11). –
ISBN 978–1–4503–1067–3, 1:1–1:6
Bermbach, David ; Tai, Stefan:
Benchmarking Eventual Consistency: Lessons Learned from
Long-Term Experimental Studies.
In: Proceedings of the 2nd IEEE International Conference on Cloud
Engineering (IC2E), IEEE, 2014. –
Best Paper Runner Up Award
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 18/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
References II
Bailis, Peter ; Venkataraman, Shivaram ; Franklin, Michael J. ;
Hellerstein, Joseph M. ; Stoica, Ion:
Probabilistically bounded staleness for practical partial quorums.
In: Proc. VLDB Endow. 5 (2012), April, Nr. 8, 776–787.
http://dl.acm.org/citation.cfm?id=2212351.2212359. –ISSN 2150–8097
Cooper, Brian F. ; Silberstein, Adam ; Tam, Erwin ; Ramakrishnan,
Raghu ; Sears, Russell:
Benchmarking cloud serving systems with YCSB.
In: Proceedings of the 1st ACM symposium on Cloud computing.
New York, NY, USA : ACM, 2010 (SoCC ’10). –
ISBN 978–1–4503–0036–0, 143–154
Dey, Akon ; Fekete, Alan ; Nambiar, Raghunath ; Röhm, Uwe:
YCSB+T: Benchmarking Web-scale Transactional Databases.
In: Proceedings of International Workshop on Cloud Data
Management (CloudDB’14).
Chicago, USA, 2014
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 19/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
References III
Engber, Ben:
How to Compare NoSQL Databases: Determining True Performance
and Recoverability Metrics For Real-World Use Cases.
Presentation at NoSQL matters 2013.
http://vimeo.com/67121987.Version: 2013
Fior, Alessandro G. ; Meira, Jorge A. ; Almeida, Eduardo C. ; Coelho,
Ricardo G. ; Fabro, Marcos Didonet D. ; Traon, Yves L.:
Under Pressure Benchmark for DDBMS Availability.
In: JIDM 4 (2013), Nr. 3, 266-278.
http://dblp.uni-trier.de/db/journals/jidm/jidm4.html#FiorMACFT13
Golab, Wojciech ; Li, Xiaozhou ; Shah, Mehul A.:
Analyzing Consistency Properties for Fun and Profit.
In: Proceedings of the 30th Annual ACM SIGACT-SIGOPS
Symposium on Principles of Distributed Computing.
New York, NY, USA : ACM, 2011 (PODC ’11). –
ISBN 978–1–4503–0719–2, 197–206
Nelubin, Denis ; Engber, Ben:
NoSQL Failover Characteristics: Aerospike, Cassandra, Couchbase,
MongoDB.
(2013)Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 20/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
References IV
Patil, Swapnil ; Polte, Milo ; Ren, Kai ; Tantisiriroj, Wittawat ; Xiao,
Lin ; López, Julio ; Gibson, Garth ; Fuchs, Adam ; Rinaldi, Billie:
YCSB++: benchmarking and performance debugging advanced features
in scalable table stores.
In: Proceedings of the 2nd ACM Symposium on Cloud Computing.
New York, NY, USA : ACM, 2011 (SOCC ’11). –
ISBN 978–1–4503–0976–9, 9:1–9:14
Rahman, Muntasir R. ; Golab, Wojciech ; AuYoung, Alvin ; Keeton,
Kimberly ; Wylie, Jay J.:
Toward a Principled Framework for Benchmarking Consistency.
In: Proceedings of the Eighth USENIX Conference on Hot Topics in
System Dependability.
Berkeley, CA, USA : USENIX Association, 2012 (HotDep’12), 8–8
Shute, Jeff ; Vingralek, Radek ; Samwel, Bart ; Handy, Ben ; Whipkey,
Chad ; Rollins, Eric ; Oancea, Mircea ; Littlefield, Kyle ; Menestrina,
David ; Ellner, Stephan ; Cieslewicz, John ; Rae, Ian ; Stancescu, Traian ;
Apte, Himani:
F1: A Distributed SQL Database That Scales.
In: VLDB, 2013
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 21/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
References V
Wada, Hiroshi ; Fekete, Alan ; Zhao, Liang ; Lee, Kevin ; Liu, Anna:
Data Consistency Properties and the Trade-offs in Commercial Cloud
Storage: the Consumers’ Perspective.
In: CIDR’11, 2011, S. 134–143
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 22/24
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Questions?
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 23/24
So, Zeit für Fragen…
Introduction Existing Benchmarks NoSQLMark Future Prospects References Discussion
Friedrich, Wingerath, Gessert, Ritter | NoSQL OLTP Benchmarking: A Survey 24/24
Ganz zum Schluss möchten wir noch darauf hinweisen, dass die BTW 2015 im kommenden März bei uns in Hamburg stattfindet und immer noch Beiträge angenommen werden. Außerdem sollen wir Ihnen noch einen schönen von Norbert Ritter bestellen und Ihnen ausrichten, dass er von jedem hier mindestens einen guten Beitrag erwartet ;-) Wir sehen uns hoffentlich spätestens im März in Hamburg. Vielen Dank für die Aufmerksamkeit.
