KServe
Kubernetes-natives Model-Serving-Framework (ehemals KFServing) für standardisiertes, skalierbares ML-Inference auf Kubernetes.
KServe ist das Kubernetes-Standard-Framework für ML-Serving mit Auto-Scaling, Scale-to-Zero und Multi-Framework-Support.
Erklärung
KServe bietet ein standardisiertes InferenceService-CRD für Kubernetes mit Auto-Scaling (inkl. Scale-to-Zero), Canary Rollouts, Multi-Framework-Support und ModelMesh für High-Density-Serving.
Relevanz für Marketing
KServe ist der Standard für Model Serving im Kubeflow- und Kubernetes-Ökosystem.
Häufige Fallstricke
Kubernetes-Abhängigkeit und -Expertise erforderlich. Knative/Istio als Dependency. Debugging in Multi-Container-Pods.
Entstehung & Geschichte
KFServing wurde 2019 als Teil von Kubeflow veröffentlicht. 2021 erfolgte die Umbenennung zu KServe und die Migration zu einem eigenständigen Projekt. ModelMesh wurde 2022 für Multi-Model-Serving integriert.
Abgrenzung & Vergleiche
KServe vs. Seldon Core
Seldon Core bietet mehr Enterprise-Features (Explainability, MAB); KServe ist leichtgewichtiger mit besserem Auto-Scaling.
KServe vs. Triton Inference Server
Triton ist ein Inference-Runtime; KServe ist ein Orchestrierungsframework, das Triton als Backend nutzen kann.