MySQL in den Bereichen Data Warehouse & Berichtswesen

Gemäß Forrester Research wächst die Datenmenge, die Unternehmen zu verwalten haben, pro Jahr um 50% an. In einigen Bereichen wie Web-Anwendungen, E-Commerce, Handel, Telekommunikation und der öffentlichen Verwaltung ist die Steigerungsrate sogar noch höher. Noch vor wenigen Jahren wurden die Daten zum Zwecke von Geschäftsanalysen in zentralen Data Warehouse- und wenigen abteilungsinternen Data Mart-Systemen gespeichert. Heute aber ist der Bedarf an verbesserten Analysedaten explosionsartig angestiegen, was zum Einsatz einer riesigen Anzahl an verteilten Datendepots überall in Unternehmen führte. Für Unternehmen, welche die Nutzung ihrer Analysedaten intensivieren möchten, bedeutet dies höhere Komplexität und Kosten.

Um diesen Problemen zu begegnen, haben sich zukunftsorientierte Unternehmen wie Los Alamos National Labs, MIT Lincoln Lab und Cox Communications für MySQL entschieden, um ihre immer größer werdende Data-Warehouse-Infrastruktur zu steuern. Die Weiterentwicklung von MySQL auf dem Gebiet des Data Warehouse veranlasste Gartner bereits 2006, MySQL in ihrem „Magic Quadrant for Data Warehouse DBMS Servers“ zu erwähnen.

MySQL ist speziell für die Abwicklung der gebräuchlichsten Data Warehouse-Anwendungsfälle konzipiert worden:

• Data Marts
• Klassische Data-Warehouse-Systeme
• Warehouse-Systeme mit riesigen Mengen historischer/archivierter Daten
• Echtzeit-Data-Warehouse-Systeme

Systemeigene Speicher-Engines

Mit der modularen Speicher-Engine-Architektur von MySQL haben Sie die Möglichkeit, spezielle Speicher-Engines zur Verbesserung der Leistungsfähigkeit, Senkung der Speicherkosten und optimalen Auftragsverarbeitung einzusetzen. MySQL erreicht dies sowohl über intern als auch extern durch MySQL-Partner entwickelte Speicher-Engines. Nachfolgend werden einige der internen Speicher-Engines von MySQL aufgeführt, die Data Warehouse-Systeme unterstützen:

Speicher-Engines von Partnern

• InfiniDB Speicher-Engine von Calpont: Wurde zielgerichtet für analytische Daten, Data Warehouses und Data Marts und leseintensive Anwendungsumgebungen entwickelt. Die spaltenbasierte und modulare Architektur (horizontale und vertikale Skalierung) gewährleistet schnellstmögliche Antwortzeiten ungeachtet des Datenvolumens.
  http://www.calpont.com
• Brighthouse Engine von Infobright: Bei der Durchführung komplexer Abfragen über ein Datenvolumen von mehreren Terabytes in analytischen Data-Warehouse-Lösungen bietet BrightHouse eine hohe Leistungsfähigkeit. Durch die schnelle Installation, den Verzicht auf Indizes und die Verwendung auf handelsüblicher Hardware gewährleistet BrightHouse beispielslos niedrige Datenbankbetriebskosten. BrightHouse zeichnet sich außerdem durch seine 10:1-Datenkomprimierung aus; in BrightHouse werden somit Rohdaten von 10 Terabyte als 1 Terabyte gespeichert.
  http://www.infobright.com
• Analyselösungen von Kickfire vereinen Hardware: und Software-Innovationen, die hochperformante Data-Warehouse-Eigenschaften aufweisen. Durch die Kombination von einfacher Nutzung von MySQL mit patentierter und zeitgemäßer Software-Technologie kann Kickfire mittels eines anwendungsbasierten Ansatzes höchste Leistung bieten.
  http://www.kickfire.com

Die wichtigsten Leistungsmerkmale für Data Warehousing

Zusätzlich zu den verschiedenen Speicher-Engines von MySQL beinhaltet der MySQL Datenbankserver eine Reihe von wichtigen Leistungsmerkmalen, die das Data Warehousing ermöglichen. Diese umfassen:

• Daten/Index-Partitionierung (Range, Hash, Key, List, Unterpartitionen) ab MySQL-Version 5.1
• Praktisch keine Speicherbeschränkungen (1 Tablespace=110 Terabyte) mit automatischer Speicherverwaltung
• Integrierte Replikation
• Solide Index-Unterstützung (B-Tree, Volltext, Cluster, Hash, GIS)
• Verschiedene konfigurierbare Daten/Index-Zwischenspeicher
• vorgelagerte Ladeprozesse von Daten in Zwischenspeicher
• Zentraler Query-Cache (speichert Abfrage und dazugehörige Ergebnismenge, nicht nur die Daten)
• Paralleles Laden von Daten
• Mehrfach-Insert-DML
• Read-Only-Tabellen
• Kostenbasierter Optimierer
• Umfangreiche Plattform-Unterstützung

Weitere Informationsquellen:

White Paper

• MySQL 5.1 im Detail

Anwenderberichte

• Los Alamos National Labs Relies on MySQL to Scale with 7 Terabytes of Data
• Cox Communications Powers Massive Data Warehouse with MySQL
• Fortum Relies on MySQL to Monitor Power Plant in Real Time