Was ist Explainable AI (XAI)?

Explainable AI (XAI) bezeichnet Methoden und Techniken, die KI-Entscheidungen für Menschen nachvollziehbar machen. Der Begriff wurde 2017 durch das DARPA XAI-Programm in der breiten Öffentlichkeit etabliert, hat aber Wurzeln in der Interpretable Machine Learning Forschung der 1990er-Jahre. Im deutschen Sprachraum verwendet man auch 'Erklärbare KI'. Das Problem, das XAI adressiert, ist konkret: Moderne Deep-Learning-Modelle — insbesondere Foundation Models — sind in ihrer internen Entscheidungs-Logik praktisch nicht direkt nachvollziehbar. Ein Modell mit 70 Milliarden Parametern lehnt einen Kreditantrag ab, klassifiziert eine Hautläsion als bösartig oder empfiehlt eine bestimmte Strafe — und niemand kann ohne weitere Werkzeuge zuverlässig sagen, warum. Das ist ein Problem, wenn die Entscheidungen rechtliche, medizinische oder gesellschaftliche Konsequenzen haben. XAI unterscheidet sich von zwei verwandten Konzepten. Interpretable AI verwendet von Grund auf transparente Modelle (Entscheidungsbäume, lineare Regression, Regelbasen), die direkt lesbar sind. Explainable AI legt nachträgliche Erklärungs-Schichten über komplexe Black-Box-Modelle. AI Transparency ist ein breiterer Oberbegriff, der zusätzlich Trainings-Daten-Offenlegung, Modell-Karten und Governance einschließt.

Die XAI-Methoden lassen sich in mehrere Familien gliedern. Feature-Attribution-Methoden: Welche Eingabe-Merkmale haben die Entscheidung am stärksten beeinflusst? SHAP (Shapley Additive Explanations) ist 2026 De-facto-Standard — basiert auf spieltheoretischen Shapley-Werten, ist mathematisch fundiert und für Tabellendaten, Bilder und Text nutzbar. LIME (Local Interpretable Model-agnostic Explanations) ist älter, liefert lokale lineare Approximationen um eine konkrete Vorhersage. Beide Methoden sind 'post-hoc' — sie lassen das Modell unverändert und legen eine Erklärungs-Schicht darüber. Attention-Visualisierung: Bei Transformer-basierten Modellen — also faktisch allen LLMs — kann man Attention-Gewichte visualisieren, um zu sehen, welche Token im Input für ein bestimmtes Output-Token besonders wichtig waren. Liefert intuitive Visualisierungen, ist aber eine grobe Annäherung an echte Modell-Logik. Counterfactuals und Contrastive Explanations: Was hätte sich am Input ändern müssen, damit das Modell anders entschieden hätte? Counterfactuals sind besonders nützlich für Endnutzer:innen — eine Kreditablehnung mit der Erläuterung 'bei einem um 5.000 Euro höheren Jahreseinkommen wäre der Antrag genehmigt worden' ist deutlich aussagekräftiger als ein abstrakter SHAP-Plot. Konzept-basierte Methoden: TCAV (Testing with Concept Activation Vectors) und ähnliche Verfahren prüfen, ob ein Modell auf bestimmten höher-stufigen Konzepten reagiert — relevant für Bias-Analyse (reagiert das Modell auf Hautfarbe? Geschlecht?). Mechanistic Interpretability: Junges Forschungsfeld, das versucht, einzelne Neuronen und Schaltkreise in großen Modellen zu identifizieren — Anthropic, DeepMind und einige Universitäten arbeiten daran. 2026 noch primär Forschung, kommerzielle Anwendungen sind im Aufbau.

Erklärbarkeit ist nicht nur ethisches Anliegen, sondern in mehreren Regelwerken explizit verlangt. EU AI Act Artikel 13 (Transparenz): Hochrisiko-KI-Systeme müssen so gestaltet sein, dass Anwender:innen die Ausgaben angemessen interpretieren und nutzen können. Die Gebrauchsanleitung muss die Eigenschaften, Fähigkeiten und Grenzen des Systems verständlich darstellen — einschließlich der Art von Daten, mit denen das System trainiert wurde, und der zu erwartenden Genauigkeit. EU AI Act Artikel 14 (Menschliche Aufsicht): Hochrisiko-KI muss so gebaut sein, dass natürliche Personen sie effektiv überwachen können — was bei Black-Box-Systemen ohne Erklärungs-Schicht praktisch unmöglich ist. Die menschliche Aufsicht muss Modell-Ausgaben verstehen, plausibilisieren und gegebenenfalls überschreiben können. EU AI Act Artikel 86 (Right to Explanation): Bei Hochrisiko-KI-Entscheidungen, die Personen rechtlich oder ähnlich erheblich betreffen, haben Betroffene Anspruch auf eine klare und aussagekräftige Erklärung der Rolle des KI-Systems im Entscheidungs-Prozess. DSGVO Artikel 22 (Automatisierte Entscheidung): Personen haben das Recht, nicht ausschließlich automatisierten Entscheidungen unterworfen zu sein, die ihnen gegenüber rechtliche Wirkung entfalten. Bei zulässigen automatisierten Entscheidungen müssen 'aussagekräftige Informationen über die involvierte Logik' bereitgestellt werden — was in der Praxis Erklärungs-Schichten verlangt. Branchen-spezifische Regelwerke: BAIT/VAIT für Banken und Versicherer fordern Nachvollziehbarkeit von KI-Entscheidungen mit wesentlichem Einfluss; das BfArM fordert für KI-Medizinprodukte Begründbarkeit der Empfehlungen. Erklärbarkeit ist 2026 in regulierten Branchen kein 'Nice-to-have' mehr.

XAI hat einen prinzipiellen Trade-off, der in der Praxis oft unterschätzt wird. Die performantesten Modelle in vielen Aufgaben — Foundation Models, tiefe Convolutional Networks, große Transformer — sind genau die, deren interne Logik am schwersten nachvollziehbar ist. Umgekehrt sind direkt interpretierbare Modelle wie Entscheidungsbäume, lineare Regression oder Regelbasen oft weniger genau als ihre Black-Box-Pendants. Drei Strategien zur Auflösung des Trade-offs sind 2026 im Einsatz. Post-hoc Explanations: Black-Box-Modell behalten, Erklärung darüberlegen (SHAP, LIME). Vorteil: höchste Performance bleibt erhalten. Nachteil: Erklärungen sind Approximationen, können selbst falsch oder irreführend sein. Bei adversarialen Eingaben können SHAP-Werte für nicht-robuste Modelle manipulierbar sein. Interpretable-by-design: Bewusster Einsatz transparenter Modelle, wo Performance ausreichend ist. Cynthia Rudin und andere argumentieren: in vielen High-Stakes-Anwendungen wie Medizin und Justiz reicht ein einfacher Risiko-Score-Tabelle und ist nachweislich so genau wie komplexe Black-Boxes — bei voller Interpretierbarkeit. Hybrid-Architekturen: Komplexes Modell für Vorab-Filterung, transparentes Modell für die finale Entscheidung. Beispiel: Foundation Model klassifiziert grob, Entscheidungsbaum mit zehn Regeln trifft die rechtsverbindliche Entscheidung. Performt fast so gut wie das reine Black-Box-Modell, ist aber rechtlich überprüfbar. Die Wahl hängt vom Use Case ab. Bei niedrigen Stakes — Produktempfehlungen, Routine-Klassifikation — überwiegt oft Performance. Bei rechtlichen, medizinischen oder gesellschaftlichen Konsequenzen sollte die Beweislast bei Black-Box-Modellen liegen, nicht bei interpretierbaren Alternativen.

Wie integriert man XAI in eine produktive KI-Anwendung? Drei Ebenen sind 2026 etabliert. Tooling-Ebene: SHAP und LIME als Open-Source-Bibliotheken sind De-facto-Standard und in den meisten ML-Frameworks integriert. Captum (PyTorch-spezifisch) bietet umfassende XAI-Bibliothek mit Methoden wie Integrated Gradients und DeepLIFT. AIX360 (IBM) und Alibi (Seldon) sind kuratierte XAI-Toolkits mit zusätzlichen Methoden für Counterfactuals und Konzept-Analyse. Für LLMs existieren spezialisierte Tools wie Inseq (Interpretability für Sequence-Generation) und ferret. Pipeline-Ebene: XAI muss in die ModelOps-Pipeline integriert werden. Bei jedem Trainings-Lauf werden Erklärungs-Metriken berechnet (z. B. Feature-Importance-Stabilität), bei jedem Inferenz-Aufruf optional eine Erklärung mitgeliefert (Latenz-Kosten beachten — SHAP für ein 70B-Modell kann teuer werden). Erklärungen werden mit der Modell-Entscheidung gemeinsam persistiert für Audit-Zwecke. UI-Ebene: Endnutzer:innen sehen typischerweise nicht den rohen SHAP-Plot, sondern aufbereitete Visualisierungen — natürlich-sprachliche Erklärungen, Counterfactuals, Highlight der wichtigsten Eingabe-Features. Diese Aufbereitung ist UX-Arbeit, nicht ML-Arbeit, und wird oft unterschätzt. Eine korrekte aber unverständliche Erklärung erfüllt EU-AI-Act-Pflichten formal, aber nicht inhaltlich. In 2026 entstehen erste 'XAI-as-a-Service'-Angebote, die Erklärungs-Schichten als API anbieten — auch für gehostete Foundation Models. Das ist nützlich für niedrigschwelligen Einstieg, ersetzt aber keine durchdachte Erklärungs-Strategie für Hochrisiko-Anwendungen.