Souveräne KI für Tech-Teams — Expertenblick

Die letzten 18 Monate haben die Praxis verändert. Open-Weight-Modelle wie Llama 3.x, Mistral Large, Qwen 2.5, Teuken-7B und EuroLLM erreichen für nicht-Frontier-Aufgaben — Zusammenfassen, Klassifikation, Code-Assistenz, Frage-Antwort über interne Daten — Qualität, die noch 2023 nur kommerzielle Spitzenmodelle lieferten. Quantisierung auf INT8 oder FP8 senkt die Hardware-Schwelle weiter; ein 70B-Modell läuft auf einer einzelnen H100, ein 30B-Modell auf einer A100. Die Frage ist nicht mehr, ob Open-Weight produktiv tragfähig ist, sondern unter welchen Constraints sich was lohnt.

Parallel hat der Inferenz-Stack einen Reifesprung gemacht. vLLM, SGLang und TensorRT-LLM bieten OpenAI-kompatible APIs mit Continuous Batching und Speculative Decoding; durchgehende Tokens-pro-Sekunde-Werte erreichen kommerzielle Größenordnungen. Auf Infrastruktur-Seite stehen europäische Anbieter — Stackit, OVHcloud, IONOS, Scaleway, AI-Factories nach EuroHPC-Initiative — mit GPU-Kapazität bereit. Co-Location für eigene H100/H200-Cluster ist bei mittlerer Auslastung über drei Jahre häufig günstiger als Pay-per-Token.

Was Engineering hier zu liefern hat, ist nicht 'mehr Souveränität', sondern eine Architektur-Disziplin, die Modell-, Daten- und Vertrags-Schichten austauschbar hält. OpenAI-kompatible Inferenz-API als Lingua franca, offene Vektor-Formate (pgvector, Qdrant), versionierte Modell-Pipelines mit deterministischem Replay — das ist nicht teurer als ein Hyperscaler-Lock-in, sondern die Vorbedingung dafür, dass ein Wechsel im Stresstest tatsächlich funktioniert. Souveränität wird damit zu einem messbaren Engineering-Outcome, nicht zu einem Compliance-Etikett.