MySQL in den Bereichen Data Warehouse & Berichtswesen

Gemäß Forrester Research wächst die Datenmenge, die Unternehmen zu verwalten haben, pro Jahr um 50% an. In einigen Bereichen wie Web-Anwendungen, E-Commerce, Handel, Telekommunikation und der öffentlichen Verwaltung ist die Steigerungsrate sogar noch höher. Noch vor wenigen Jahren wurden die Daten zum Zwecke von Geschäftsanalysen in zentralen Data Warehouse- und wenigen abteilungsinternen Data Mart-Systemen gespeichert. Heute aber ist der Bedarf an verbesserten Analysedaten explosionsartig angestiegen, was zum Einsatz einer riesigen Anzahl an verteilten Datendepots überall in Unternehmen führte. Für Unternehmen, welche die Nutzung ihrer Analysedaten intensivieren möchten, bedeutet dies höhere Komplexität und Kosten.

Um diesen Problemen zu begegnen, haben sich zukunftsorientierte Unternehmen wie Los Alamos National Labs, MIT Lincoln Lab und Cox Communications für MySQL entschieden, um ihre immer größer werdende Data-Warehouse-Infrastruktur zu steuern. Die Weiterentwicklung von MySQL auf dem Gebiet des Data Warehouse veranlasste Gartner bereits 2006, MySQL in ihrem „Magic Quadrant for Data Warehouse DBMS Servers“ zu erwähnen.

MySQL ist speziell für die Abwicklung der gebräuchlichsten Data Warehouse-Anwendungsfälle konzipiert worden:

• Data Marts
• Klassische Data-Warehouse-Systeme
• Warehouse-Systeme mit riesigen Mengen historischer/archivierter Daten
• Echtzeit-Data-Warehouse-Systeme

Systemeigene Speicher-Engines

Mit der modularen Speicher-Engine-Architektur von MySQL haben Sie die Möglichkeit, spezielle Speicher-Engines zur Verbesserung der Leistungsfähigkeit, Senkung der Speicherkosten und optimalen Auftragsverarbeitung einzusetzen. MySQL erreicht dies sowohl über intern als auch extern durch MySQL-Partner entwickelte Speicher-Engines. Nachfolgend werden einige der internen Speicher-Engines von MySQL aufgeführt, die Data Warehouse-Systeme unterstützen:

• MyISAM: MyISAM ist eine hochperformante nichttransaktionale Speicher-Engine, die ursprünglich für Data-Warehouse-Anwendungen entwickelt wurde. MyISAM ist die Standard-Speicher-Engine von MySQL und wird von unseren Kunden am häufigsten für Data Warehouse-Anwendungen und Berichtssysteme eingesetzt.
• Archive: Neue gesetzliche Auflagen wie z.B. Sarbanes Oxley oder Basel II haben viele Unternehmen dazu gezwungen, riesige Mengen an historischen Informationen auf ihren Datenbankservern zu halten. Daher suchen diese Unternehmen nach Möglichkeiten, um den Platzbedarf für diese selten verwendeten Daten einzuschränken. Die Archive Speicher-Engine von MySQL komprimiert automatisch die in den Tabellen gespeicherten Daten und senkt so den Speicherplatzbedarf typischerweise um 15 bis 20%.
• Memory: Die Memory Speicher-Engine ist ideal für Tabellen geeignet, die Data Warehouse-Dimensionen erreichen. Sämtliche Daten werden ständig im Hauptspeicher gehalten, was gleichzeitig zu extrem kurzen Such- und Verbindungszeiten führt.
• CSV: Mit der CSV Speicher-Engine können durch Trennzeichen begrenzte ASCI-Dateien sofort in MySQL geladen und mittels SQL angesprochen werden. Daten in CSV-Tabellen können sowohl über normale DML-Befehle als auch mit Hilfe externer Datei-Editoren verändert werden.
• Merge: Mit der Merge Speicher-Engine können Tabellen in eine einzelne logische Einheit zusammengefaßt und als ein Objekt angesteuert/ergänzt werden.

Speicher-Engines von Partnern

• Infobrights BrightHouse engine: Bei der Durchführung komplexer Abfragen über ein Datenvolumen von mehreren Terabytes in analytischen Data-Warehouse-Lösungen bietet BrightHouse eine hohe Leistungsfähigkeit. Durch die schnelle Installation, den Verzicht auf Indizes und die Verwendung auf handelsüblicher Hardware gewährleistet BrightHouse beispielslos niedrige Datenbankbetriebskosten. BrightHouse zeichnet sich außerdem durch seine 10:1-Datenkomprimierung aus; in BrightHouse werden somit Rohdaten von 10 Terabyte als 1 Terabyte gespeichert.

Die wichtigsten Leistungsmerkmale für Data Warehousing

Zusätzlich zu den verschiedenen Speicher-Engines von MySQL beinhaltet der MySQL Datenbankserver eine Reihe von wichtigen Leistungsmerkmalen, die das Data Warehousing ermöglichen. Diese umfassen:

• Daten/Index-Partitionierung (Range, Hash, Key, List, Unterpartitionen) ab MySQL-Version 5.1
• Praktisch keine Speicherbeschränkungen (1 Tablespace=110 Terabyte) mit automatischer Speicherverwaltung
• Integrierte Replikation
• Solide Index-Unterstützung (B-Tree, Volltext, Cluster, Hash, GIS)
• Verschiedene konfigurierbare Daten/Index-Zwischenspeicher
• vorgelagerte Ladeprozesse von Daten in Zwischenspeicher
• Zentraler Query-Cache (speichert Abfrage und dazugehörige Ergebnismenge, nicht nur die Daten)
• Paralleles Laden von Daten
• Mehrfach-Insert-DML
• Read-Only-Tabellen
• Kostenbasierter Optimierer
• Umfangreiche Plattform-Unterstützung

Weitere Informationsquellen:

Technologie-Partner

• MySQL AB arbeitet mit führenden Herstellern von ETL-, Reporting- und BI-Lösungen wie Business Objects, MicroStrategy, Jaspersoft, Pentaho, Talend, and Informatica zusammen.

White Paper

• Enterprise Data Warehousing with MySQL
• MySQL 5.1 im Detail
• MySQL 5.0 im Detail - Aus der Sicht eines Datenbankadministrators

Anwenderberichte

• Los Alamos National Labs Relies on MySQL to Scale with 7 Terabytes of Data
• Cox Communications Powers Massive Data Warehouse with MySQL
• Fortum Relies on MySQL to Monitor Power Plant in Real Time

Webseminar-Mitschnitt

• A Case Study: Click Stream Analysis on Terabytes of Data with MySQL and Infobright