Steffen über Cloud, Azure und Datenbanken

Steffen Krause - Cloud Solution Architect

Kundenbericht: Handelsüberwachung der Börse Stuttgart oder Wie importiere ich bis zu 1 Milliarde Zeilen am Tag im laufenden Betrieb?

Kundenbericht: Handelsüberwachung der Börse Stuttgart oder Wie importiere ich bis zu 1 Milliarde Zeilen am Tag im laufenden Betrieb?

  • Comments 2
  • Likes

image

Heute gibt es mal wieder einen schönen Kundenbericht, diesmal von einem Projekt, an dem ich selbst am Anfang mitgewirkt habe. Der Kunde ist die Handelsüberwachung der Baden-Württembergische Wertpapierbörse Stuttgart. Die Spezialität dieser Börse ist der Anleihen- und Derivatehandel. Täglich durchlaufen bis zu einer Milliarde Datensätze für die verschiedenen Wertpapiere die Börse. Aufgabe der Handelsüberwachung ist es nun unter anderem, diese Daten auf Unregelmäßigkeiten und Verstöße gegen die Börsenregeln zu untersuchen.

Daher müssen die Preisstellungen/Taxen und die tatsächlich abgewickelten Trades in eine Auswertungsdatenbank importiert und möglichst zeitnah ausgewertet werden. Anders als bei einem normalen Data Warehouse wird die Zieltabelle also während des Bulk Loads für Auswertungen abgefragt. Das übliche Verfahren: Indizes deaktivieren, importieren, Indizes wieder aufbauen geht hier somit nicht.

Im beiliegenden Whitepaper beschreibt der Kunde die gefundene Lösung, die auf Tabellenpartitionierung und Partitionsumschaltung sowie Datenimport mit SQL Server Integration Services beruht.

Was mich neben der großen Datenmenge bei völlig normaler Hardware bei diesem Projekt noch begeistert hat ist die kurze Implementierungszeit neben dem Tagesgeschäft: Der Kunde kam auf der CeBit im März auf mich zu, daraufhin war ich am 2. April in Stuttgart, und am 15. Mai bekam ich das fertige Whitepaper, laut dem die Lösung bereits drei Wochen im Produktivbetrieb ist.

Ein Zitat des Kunden:

Seit wir die Partitionstechnologie im System realisiert haben, haben wir nun keinerlei Bedenken mehr gegenüber großen Datenmengen.

Hier nun das Whitepaper, mit dem üblichen Disclaimer: Das Whitepaper gibt die Sicht des Kunden (Handelsüberwachungsstelle der Baden-Württembergische Wertpapierbörse Stuttgart) wieder, nicht meine oder die der Microsoft Deutschland GmbH

Gruß,
Steffen

Comments
  • sehr interessant.

    Vielen Dank an Herrn Rupp

  • Heute gibt es mal wieder einen schönen Kundenbericht, diesmal von einem Projekt, an dem ich selbst am

Your comment has been posted.   Close
Thank you, your comment requires moderation so it may take a while to appear.   Close
Leave a Comment