Dagster
Open-Source-Orchestrierungsplattform mit Software-Defined-Assets-Ansatz für Data- und ML-Pipelines.
Dagster orchestriert Pipelines als Software-Defined Assets mit deklarativer Lineage und integrierter Datenqualität – die modernste Alternative zu Airflow.
Erklärung
Dagster modelliert Pipelines als "Assets" (z. B. Tabellen, ML-Modelle) statt als Tasks. Dies ermöglicht deklarative Lineage, automatische Materialisierung und integrierte Data Quality Checks.
Relevanz für Marketing
Dagster gewinnt Traktion als Asset-zentrierte Alternative zu Airflow, besonders bei modernen Data Teams.
Häufige Fallstricke
Kleinere Community als Airflow. Asset-Paradigma erfordert Umdenken. Weniger Production-Erfahrungsberichte.
Entstehung & Geschichte
Nick Schrock (ehemals Facebook/GraphQL) gründete Elementl und veröffentlichte Dagster 2019. Das Software-Defined-Assets-Konzept wurde 2022 eingeführt. Dagster Cloud bietet Managed Hosting. Die Asset-zentrierte Philosophie beeinflusst die gesamte Orchestrierungs-Landschaft.
Abgrenzung & Vergleiche
Dagster vs. Apache Airflow
Airflow ist task-zentriert (was wird wann ausgeführt); Dagster ist asset-zentriert (was wird produziert).
Dagster vs. dbt
dbt transformiert SQL-Daten; Dagster orchestriert den gesamten Pipeline-Lifecycle inklusive dbt-Integration.