Zwei fruchtbare Ansätze für das Datenmanagement
ETL vs. ELT: Wenn das Sammeln, Speichern und Auswerten von Daten zunehmend geschäftskritische Dimensionen annimmt, müssen Unternehmen bewusste Entscheidungen dafür treffen, welche Ansätze sie in der Datenanalyse und Lagerhaltung verfolgen möchten.
Damit reicht es nicht mehr aus mit Excel Listen zu hantieren oder direkt mit BI- Reportwerkzeuge (z.B. Tableau, MS Power BI & CO.) komplexe Logiken direkt auf der Datenquelle vorzunehmen.
Es müssen professionelle Techniken bzw. Prozesse eingesetzt werden, die für die Datenbewirtschaftung unabdingbar sind.
Hier erfahren Sie, welche Unterschiede sich bei beiden Ansätzen für Ihr Datenmanagement ergeben und warum das für Ihr Unternehmen und Ihre Datenarbeit relevant ist.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Was bedeuten ETL und ELT?
ETL:
ETL steht für Extraktion, Transformation und Laden. Diesen Ansatz haben Unternehmen im Umgang mit ihren Daten viele Jahre lang verfolgt. Grundsätzlich dient ETL dazu, die gewünschten Daten aus den Quellen zu extrahieren und in das Zielsystem zu übertragen. Eine Einheitlichkeit der Daten muss nicht unbedingt gegeben sein, sie können in verschiedenen Formaten vorliegen. Daher ist es üblich, zwischen der Extraktion und der Übertragung einen Transformationsprozess für die Datenbereinigung zwischenzuschalten.
ELT
ELT ist als Weiterentwicklung von ETL zu verstehen. ELT steht für Extraktion, Laden und Transformation. Bei diesem Ansatz ist der Transformationsschritt also ans Ende gerückt. Um den Unterschied zu verstehen, müssen Sie sich vergegenwärtigen, warum die Transformation bei ETL gleich der zweite Schritt ist. Früher war es aufgrund der beschränkten Leistungsfähigkeit der lokalen Server erforderlich, Aufgaben im Bereich Big Data auf viele kleine Jobs aufzuteilen. Diese ließen sich dann in der Cloud abarbeiten. Danach musste das System sie wieder zurückspielen. Deshalb steht beim ETL-Ansatz das Laden am Ende.
Das ist bei ELT nicht mehr erforderlich. Dieser Ansatz hat an Bedeutung gewonnen, weil lokale Server heute über ausreichende Leistung verfügen, um die Datenverarbeitung selbst im Petabyte-Bereich vorzunehmen. Es erfolgt also erst das Laden und danach die Transformation. Nur wenn ausreichende Server-Ressourcen zur Verfügung stehen, ist der ELT-Ansatz sinnvoll anwendbar.
So funktionieren die einzelnen Arbeitsschritte
Da sich bei ETL und ELT alles um die Extraktion, das Laden und die Transformation dreht, sehen wir uns diese Teilschritte noch einmal näher an. Beachten Sie, dass sich bei beiden Ansätzen nicht nur die Reihenfolge der Schritte ändert. Unterschiede bestehen teilweise auch innerhalb der Schritte.
- Extraktion: In diesem ersten Schritt geht es um die Sammlung der Rohdaten aus verschiedenen Quellen. Hier bestehen zwischen den beiden Ansätzen noch keine Unterschiede. Die Daten stammen zum Beispiel aus Ihren Anwendungen oder der virtuellen Infrastruktur.
- Laden: Hier besteht ein wesentlicher Unterschied zwischen den beiden Datenmanagementverfahren. Beim ETL-Ansatz ist es erforderlich, die Rohdaten erst einmal für die Verarbeitung an einen Server abzugeben. Hierbei handelt es sich um einen zwischengeschalteten Schritt. Beim ELT-Ansatz hingegen erfolgt gleich die Übertragung an den Zielort. Zwischen Extraktion und Bereitstellung vergeht bei ELT also weniger Zeit, dafür fällt der Aufwand auf der lokalen Serverstruktur höher aus.
- Transformation: In diesem Schritt erfolgt die Strukturierung und Vereinheitlichung der Rohdaten. Die Normalisierung ist hier eine der wichtigen Aufgaben. Alles das erfolgt im Data Warehouse. Das Ziel ist es, die Daten für die Nutzung in kundenspezifischen Reports nutzbar zu machen.
Welche Vorteile bietet Extraktion/Laden/Transformation?
Die Vorteile von Extraktion/Laden/Transformation kommen vor allem für die moderne Data Warehouse Software in Cloud Architekturen zum Tragen, die typischerweise mit immer mehr Datentypen und -volumen zurechtkommen muss. Nützlich ist in diesem Zusammenhang zum Beispiel, dass die beiden Schritte Laden und Transformation voneinander getrennt sind. Es bestehen keine Abhängigkeiten, was die Risiken im Prozess verringert.
Implementierungen für Extraktion/Laden/Transformation können Sie direkt in Ihrem Data Warehouse verwenden. Änderungen an der Struktur sind einfach durchführbar, weil der Transformationsschritt sauber vom Laden getrennt ist.
Data Warehouses bringen heute eine enorm hohe Leistung für die Datenverarbeitung mit. Ihre Daten sind daher für kürzere Zeit in den entsprechenden Prozessen gefangen, was zu Kosteneinsparungen führt. Nutzen Sie Ihr Data Warehouse in der Cloud, müssen Sie nicht vorab in die benötigte Leistung investieren, sondern können diese on-demand abfragen. Die Skalierbarkeit ist damit eine entscheidende Stärke dieses Ansatzes. Ein weiterer Vorteil besteht in der hohen Flexibilität. Sie können Anpassungen für unterschiedliche Unternehmenszwecke leicht vornehmen. Änderungen sind später jederzeit möglich.
Was sind die Stärken von Extraktion/Transformation/Laden?
Werkzeuge für Extraktion/Transformation/Laden haben nach wie vor ihre Berechtigung und bringen ebenfalls einige Vorteile mit. Dazu gehört, dass häufig viele Schnittstellen zu den unterschiedlichen Datenbanksystemen auf dem Markt verfügbar sind. Die hohe Kompatibilität zählt damit zu den Stärken der Lösungen. Das gilt auch für die Unterstützung von Architekturen in Bezug auf hybride Clouds. Bei diesem Modell besteht eine Mischung aus privaten und öffentlichen Cloud-Angeboten. Eine hohe Benutzerfreundlichkeit und die einfache Visualisierung der drei Phasen des Prozesses gehören zu den weiteren Vorzügen.
Kontaktiere uns jetzt und vereinbare Dein kostenloses Erstgespräch mit einem unserer Experten.
Wann ist der ELT-Ansatz die richtige Wahl für Ihr Unternehmen?
Als Entscheider müssen Sie in der betrieblichen Praxis begründen können, warum Sie sich für einen der beiden verfügbaren Datenmanagementansätze entschieden haben. Um Ihnen dabei zu helfen, sind hier die wichtigsten Argumente für Extraktion/Laden/Transformation zusammengefasst.
- Hat für Ihr Unternehmen bzw. Ihre Anwendung die Aufnahmegeschwindigkeit Priorität, ist der ELT-Ansatz eine geeignete Wahl. Der Grund dafür ist, dass Sie nicht auf die externe Datenverarbeitung warten müssen. Es erfolgt eine schnellere Bereitstellung der Rohdaten, weil sich Laden und Transformation parallelisieren lassen.
- Ein entscheidender Vorteil besteht im Zugriff auf die vollständigen Rohdaten. Das ist möglich, weil anders als beim ETL-Ansatz vor dem Laden kein Transformationsschritt erfolgt. Wichtig ist das für Unternehmen, die sich tiefe Einblicke in die historischen Daten wünschen und bei ihren Analysen zum Beispiel saisonale Trends aufdecken möchten. Gerade Data Scientists im Unternehmen wissen den Zugriff auf die Rohdaten für ihre Arbeit zu schätzen.
- Bei der Verwendung mit Cloud-betriebenen Data Warehouses ist Extraktion/Laden/Transformation nützlich, um die hohe Rechenleistung für die Skalierung zu nutzen.
Wann ist der ELT-Ansatz nicht geeignet?
Grundsätzlich ist die Anwendung von Extraktion/Laden/Transformation immer dann problematisch, wenn Ihre lokale Server-Infrastruktur nur über wenige Ressourcen verfügt. Ist die Leistungsfähigkeit nicht gegeben, können Sie die erforderlichen Verarbeitungsprozesse nicht selbst übernehmen. Das könnte gerade für kleinere Unternehmen ein Hindernis darstellen.
Bei Anwendungen im Rahmen der Business Intelligence sind normalisierte Daten für den Anwender häufig von größerem Nutzen. Um diese zu erhalten, ist eine Transformation der Daten vor dem Laden erforderlich. Daher kann es sein, dass bei solchen Anwendungen der traditionelle ETL-Ansatz besser geeignet ist.
Fazit ETL vs. ELT
Gerade für Unternehmen, die ihr Data Warehouse in der Cloud betreiben, bietet Extraktion/Laden/ Transformation viele Vorteile. Denn hier steht immer die benötigte Leistung zur Verfügung, ohne dass Sie diese im Voraus bezahlen müssen. Eines der Gegenargumente bestand früher darin, dass lokal zu viele Ressourcen bereitzuhalten sind, um diesen Ansatz umsetzen zu können, wodurch die Kosten steigen. Das gilt heute dank der Cloud nicht mehr in gleichem Maße. Daher ist es für viele Unternehmen eine Überlegung wert, ob sie die neue Architektur für ihr Datenmanagement nutzen sollten.
Wenn Sie die Daten beim ELT-Ansatz direkt in das Zielsystem laden, ohne diese vorher zu transformieren, erhalten Sie einen sogenannten Data Lake. Dessen wesentliches Merkmal ist es, Daten in verschiedenen Datenformaten zu beherbergen. Das ist nützlich, weil Sie die Daten in Rohform erst einmal sammeln können und sie nicht transformieren, bevor Sie sie für die Auswertung benötigen.
Dieser Ansatz ist in der Praxis häufig effizienter. Die Daten stehen für die Auswertung jederzeit bereit. Haben Sie die Transformation vorgenommen, verbleibt deren Ergebnis zusammen mit den Daten im Data Lake. Es können später also mit den gleichen Rohdaten weitere Transformationen anschließen unter Verwendung anderer Algorithmen und Verfahren. Das ist ein Maß an Flexibilität, das viele Anwender in der Praxis der Unternehmen beim Umgang mit ihren Rohdaten zu schätzen wissen.
Kontaktieren Sie uns, wenn Sie alles Wichtige zum Thema Datenmanagement erfahren möchten und welche Ansätze hier für Ihr Unternehmen sinnvoll sind!
