Enterprise AI-Plattform auf Azure AKS
Ausgangslage
Ein Unternehmen benötigte eine zentrale, skalierbare Laufzeit- und Integrationsumgebung für verschiedene LLM-basierte Anwendungsfälle. Unterschiedliche AI-Services und Sprachmodelle sollten einheitlich betrieben und verwaltet werden – vollständig automatisiert und auditierbar.
Vorgehen
Aufbau einer Kubernetes-Plattform auf Azure AKS, vollständig als Infrastructure-as-Code mit Terraform und Helm. Integration von Azure OpenAI und weiteren LLM-Providern über einen zentralen MCP-Server. GitOps-Betrieb mit Argo CD inklusive automatischer Stage-Promotions. CI/CD über GitHub Actions, Harbor als Container Registry, Supabase als Backend-Plattform für Auth, Storage und Datenbank.
Ergebnis
Einheitliche, reproduzierbare AI-Plattform mit vollständig automatisiertem Deployment-Zyklus. Entwicklungsteams können neue AI-Services eigenständig onboarden. Klare Trennung von Stages und auditierbare Deployment-Historie durch GitOps.