DVC (Data Version Control)

DVC (Data Version Control) ist ein Open-Source-Tool, das die Versionierung von Daten und Machine-Learning-Modellen ermöglicht, ähnlich der Funktionsweise von Git für Code. Es erweitert bestehende Git-Repositories, indem es Referenzen auf große Dateien (Daten, Modelle, Artefakte) speichert, während die eigentlichen Daten in externen Speichersystemen (z.B. S3, GCS, Azure Blob Storage) abgelegt werden. DVC ermöglicht die Nachvollziehbarkeit von Daten- und Modellversionen, die Reproduzierbarkeit von Experimenten und die effiziente Zusammenarbeit in ML-Teams. Es hilft, den gesamten Lebenszyklus eines ML-Projekts transparent zu halten.

Für Marketing-Agenturen und Unternehmen, die auf datengetriebene KI-Lösungen setzen, ist DVC entscheidend, um die Governance und Reproduzierbarkeit zu gewährleisten. Es verhindert den Verlust von Datenständen und Modellversionen und ermöglicht eine klare Nachvollziehbarkeit, welche Daten zur Entwicklung eines bestimmten Marketingmodells verwendet wurden. Dies ist wichtig für Audits, die Behebung von Fehlern und die effiziente Weiterentwicklung von KI-Anwendungen, beispielsweise für die Marketing-Attribution oder Vorhersage von Kundenverhalten.

Ein Data-Science-Team arbeitet an einem Modell zur Lead-Priorisierung. Mit DVC versionieren sie nicht nur den Python-Code, sondern auch den Trainingsdatensatz und das trainierte Modell. Wenn später eine Verschlechterung der Modellleistung auftritt, können sie exakt zu der Daten- und Modellversion zurückkehren, die für eine frühere, bessere Performance verantwortlich war.

Iterative.ai veröffentlichte DVC 2017 als "Git for Data". CML (Continuous Machine Learning) wurde 2020 als CI/CD-Companion veröffentlicht. DVC Studio folgte als Web-UI. Heute hat DVC über 13.000 GitHub-Stars.

• DVC DocumentationDokumentation
• DVC GitHubArtikel