Was sind Foundation Models?

Foundation Models — auf Deutsch Basismodelle — sind großskalig vortrainierte KI-Modelle, die als Grundlage für eine breite Palette nachgelagerter Anwendungen dienen. Der Begriff wurde 2021 vom Stanford Center for Research on Foundation Models in einem viel zitierten Übersichtspapier (Bommasani et al., 'On the Opportunities and Risks of Foundation Models') geprägt und hat sich seitdem als Sammelbegriff für die neue Generation universeller KI-Modelle etabliert. Charakteristisch sind drei Eigenschaften. Erstens: Das Training erfolgt im Self-Supervised-Verfahren auf sehr großen, oft web-scale Datensätzen — typischerweise Hunderte Milliarden bis Billionen Tokens. Zweitens: Die Modelle haben sehr viele Parameter, von einigen Milliarden bis zu mehreren Hundert Milliarden. Drittens: Sie sind aufgaben-agnostisch trainiert und können durch Fine-Tuning, Prompt Engineering oder Retrieval-Augmented Generation an spezifische Anwendungsfälle angepasst werden. Die bekanntesten Foundation Models sind Large Language Models (LLMs) wie GPT-4, Claude oder Llama. Daneben gibt es Vision-Modelle (DINOv2, SAM), multimodale Modelle (Gemini, GPT-4V) und Code-spezialisierte Varianten.

Die meisten heutigen Foundation Models basieren auf der Transformer-Architektur, die 2017 in dem Paper 'Attention Is All You Need' (Vaswani et al.) eingeführt wurde. Der zentrale Mechanismus ist Self-Attention: Das Modell berechnet für jeden Token in einer Sequenz, wie stark er auf alle anderen Tokens 'achten' muss. Dadurch entstehen reichhaltige kontextuelle Repräsentationen, die sprachliches und semantisches Wissen erfassen. Trainiert werden Foundation Models in der Regel in zwei Phasen. Im Pre-Training lernt das Modell auf einem riesigen, ungelabelten Korpus — typischerweise einer Mischung aus Web-Crawls (CommonCrawl), Büchern, wissenschaftlichen Artikeln und Code. Die Aufgabe ist meist Next-Token-Prediction: Das Modell muss das nächste Wort in einer Sequenz vorhersagen. Trotz dieser einfachen Aufgabe entstehen dabei breit einsetzbare Sprach- und Reasoning-Fähigkeiten. Im zweiten Schritt — Alignment oder Instruction-Tuning — wird das Modell mit Reinforcement Learning from Human Feedback (RLHF) oder Direct Preference Optimization (DPO) auf hilfreiches und sicheres Verhalten kalibriert. Der Trainings-Aufwand ist beträchtlich: GPT-4-Klasse-Modelle werden mit geschätzten 10 hoch 25 Floating-Point-Operations trainiert, was Compute-Kosten im zweistelligen Millionen-Dollar-Bereich entspricht.

Die produktive Landschaft 2026 lässt sich in drei Familien gliedern. Closed-Source-Frontier-Modelle der großen US-Anbieter dominieren bei Reasoning und Multimodalität: GPT-5 von OpenAI, Claude Opus 4 von Anthropic, Gemini 2.5 von Google. Diese Modelle sind nur über API zugänglich, ihre Gewichte und Trainings-Daten bleiben proprietär. Open-Weight-Modelle haben in den letzten 18 Monaten erheblich aufgeholt. Llama 3.3 (Meta), Mistral Large 2 (Mistral AI, Frankreich), Qwen 2.5 (Alibaba), DeepSeek-V3 und R1 (China) erreichen für die meisten produktiven Aufgaben Performance auf GPT-4-Niveau (Stand 2024). Aus dem deutschen und europäischen Raum kommen Teuken-7B (OpenGPT-X-Konsortium, BMBF-gefördert) und EuroLLM (mehrsprachig für alle EU-Sprachen). Multimodale Foundation Models adressieren Vision und Audio. CLIP und DINOv2 (Meta) sind Standards für Bild-Repräsentationen, Segment Anything (SAM) für Segmentierung. Vision-Language-Modelle wie LLaVA, CogVLM und InternVL kombinieren Bild-Verständnis mit Sprache. Spezialisierte Foundation Models für Code (DeepSeek-Coder, Qwen 2.5-Coder, StarCoder), Mathematik und biomedizinische Texte (BioMistral, MedLlama) ergänzen das Bild.

Der EU AI Act führt in Artikel 51 bis 56 eine eigene Kategorie für General-Purpose AI Models (GPAI) ein — die regulatorische Bezeichnung für Foundation Models. Anbieter solcher Modelle haben Pflichten, die unabhängig vom konkreten Anwendungsfall gelten: technische Dokumentation nach Annex XI, Trainings-Daten-Zusammenfassung, Compliance mit Urheberrecht (Artikel 53), Transparenz-Anforderungen. Eine schärfere Regulierung greift bei GPAI mit systemischem Risiko. Diese Schwelle wird in Artikel 51 Absatz 2 über die Trainings-Compute definiert: ab 10 hoch 25 FLOPs gilt ein Modell als systemisch riskant. Praktisch betrifft das aktuell GPT-4-Klasse-Modelle und größer. Anbieter müssen zusätzlich Risiko-Bewertungen nach Stand der Technik durchführen, Cybersecurity-Maßnahmen dokumentieren und Vorfälle an das EU AI Office melden. Die Pflichten sind seit 2. August 2025 wirksam. Anbieter wie OpenAI, Anthropic, Google, Meta und Mistral haben seitdem Compliance-Teams aufgebaut, ihre Modell-Karten erweitert und Transparenz-Berichte veröffentlicht. Für Betreiber, die ein Foundation Model in einer Hochrisiko-Anwendung einsetzen, kommen die Annex-III-Pflichten dazu — Risikomanagement, menschliche Aufsicht, Konformitätsbewertung.

Foundation Models entfalten ihren Wert erst in der Anpassung an konkrete Anwendungen. Vier Verfahren sind heute üblich. Prompt Engineering ist die einfachste Form: Das Modell wird über sorgfältig formulierte Eingaben gesteuert, ohne Gewichts-Änderung. Schnell, kostengünstig, aber an die Modell-Tagesform gekoppelt. Ergebnisse sind meist gut für Standard-Aufgaben (Zusammenfassen, Klassifikation, Extraktion). Retrieval-Augmented Generation (RAG) erweitert das Modell um eine externe Wissensbasis. Eine Vektor-Datenbank speichert Dokumente als Embeddings, eine Suche findet relevante Passagen, das Modell formuliert die Antwort. RAG ist die richtige Wahl, wenn das Modell auf aktuelle, spezifische oder vertrauliche Inhalte zugreifen soll, ohne sie ins Training aufzunehmen. Fine-Tuning passt die Modell-Gewichte selbst an. Vollständiges Fine-Tuning ist teuer, parameter-effiziente Verfahren wie LoRA (Low-Rank Adaptation) oder QLoRA brauchen nur einen Bruchteil des Aufwands und sind heute Standard für domänenspezifische Anpassungen. In-Context Learning schließlich nutzt Beispiele direkt im Prompt — das Modell lernt das Schema aus wenigen Demonstrationen. Funktioniert besonders gut bei großen Modellen ab GPT-4-Niveau.