Was sind Model Weights?

Model Weights (deutsch: Modellgewichte) sind die trainierten Parameter eines neuronalen Netzwerks. In einem Foundation Model wie Llama oder GPT-4 bestehen sie aus Milliarden von Fließkomma-Zahlen, die das gesamte 'Wissen' des Modells repräsentieren — Sprachverständnis, Reasoning, Faktenwissen, Stil. Bei der Inferenz werden diese Gewichte mit der Eingabe multipliziert und addiert; das Ergebnis bestimmt die Ausgabe. Die Anzahl der Gewichte gibt die Modell-Größe an, gemessen in Parametern. Llama 3.3 70B hat etwa 70 Milliarden Parameter, Mistral Large 2 rund 123 Milliarden, GPT-4 wird auf eine niedrige dreistellige Milliarden-Zahl geschätzt. Jedes Gewicht ist eine Zahl, typischerweise im Float-32- oder Float-16-Format gespeichert. Bei einem 70B-Modell in FP16 ergibt das eine Datei von etwa 140 Gigabyte. Modellgewichte sind das eigentliche 'geistige Eigentum' eines KI-Modells. Wer sie besitzt — und sie auf eigener Hardware ausführen kann —, ist von keinem externen Anbieter abhängig. Open Weights sind deshalb der zentrale Hebel souveräner KI-Architektur.

Die Größe eines Modells in Parametern korreliert grob mit seiner Leistungsfähigkeit, ist aber nicht der einzige Faktor — Trainings-Daten-Qualität und Optimierungs-Verfahren spielen ebenfalls eine erhebliche Rolle. Typische Größenstufen: Edge-Modelle (1 bis 4 Milliarden Parameter, etwa Phi-3 Mini), kleine Modelle (7 bis 13B, Llama 3.2 7B), mittelgroße Modelle (30 bis 70B, Llama 3.3 70B), große Modelle über 100B (Mistral Large 2, DeepSeek-V3). Für die Speicherung der Gewichte werden verschiedene Datenformate verwendet. FP32 (32-Bit-Float) ist das Trainings-Standard-Format mit höchster Präzision aber doppeltem Speicherbedarf. FP16 (16-Bit-Float) und BFloat16 sind die üblichen Inferenz-Formate — schon halbiert im Speicher gegenüber FP32, ohne nennenswerten Performance-Verlust. INT8 und INT4 sind Quantisierungs-Formate, die nochmal Faktor 2 bzw. 4 sparen. Bei den Datei-Formaten hat sich Safetensors (von Hugging Face) als Standard etabliert: schneller zu laden als das ältere PyTorch-Format (.pth oder .bin), sicherer (kein Code-Execution-Risiko beim Laden) und mit definierten Metadaten. GGUF ist ein weiterer wichtiger Container, primär für llama.cpp-Inferenz auf CPU oder Apple Silicon.

Die zentrale Unterscheidung im KI-Markt ist heute, ob die Modellgewichte öffentlich verfügbar sind oder nicht. Closed Weights — bei OpenAI GPT-4, Anthropic Claude, Google Gemini — sind nur über API zugänglich, das Modell läuft auf der Infrastruktur des Anbieters. Trainings-Daten, Architektur-Details und Gewichte bleiben proprietär. Open Weights sind herunterladbar und können selbst gehostet werden. Llama 3.3, Mistral Large 2, Qwen 2.5, DeepSeek-V3 stehen unter verschiedenen Lizenzen — Apache 2.0, MIT oder spezifischen Modell-Lizenzen wie der Llama Custom Community License. Das Lizenz-Spektrum reicht von uneingeschränkter kommerzieller Nutzung bis zu Forschungs-Lizenzen mit Kommerz-Verbot. Open Weights bringen drei strukturelle Vorteile. Auditierbarkeit: Sie können das Modell prüfen, Bias-Tests durchführen, die Inferenz-Pipeline vollständig dokumentieren — Voraussetzung für EU-AI-Act-Konformität bei Hochrisiko-Anwendungen. Reproduzierbarkeit: Ein Modell mit Hash-fixiertem Snapshot liefert in der gleichen Inferenz-Engine deterministisch identische Outputs (bei Greedy Decoding). Souveränität: Self-Hosting auf eigener oder europäischer Infrastruktur eliminiert Drittstaats-Risiken aus dem CLOUD Act und FISA 702. Closed Weights bleiben überlegen in Frontier-Reasoning und Multimodalität — der Abstand schmilzt aber kontinuierlich.

Quantisierung reduziert die Präzision der Modellgewichte, um Speicher zu sparen und Inferenz zu beschleunigen — bei minimalem Performance-Verlust. Die wichtigsten Verfahren 2026: INT8-Quantisierung halbiert den Speicherbedarf gegenüber FP16. Llama 3.3 70B braucht in INT8 etwa 70 GB GPU-Memory statt 140 GB in FP16. Performance-Verlust auf MMLU typisch unter 0,5 Prozent. INT4-Quantisierung verschärft das nochmal um Faktor 2: 70B-Modell in 35 GB GPU-Memory, lauffähig auf einer einzelnen H100 80GB oder zwei A100 40GB. Die wichtigsten INT4-Verfahren sind AWQ (Activation-aware Weight Quantization) und GPTQ (Generative Pre-trained Transformer Quantization). Beide erreichen weniger als 1 Prozent Performance-Verlust auf typischen Benchmarks. FP8-Quantisierung ist ein neueres Format, das auf NVIDIA H100 und H200 hardware-beschleunigt unterstützt wird. Performance liegt zwischen FP16 und INT8, mit besserer numerischer Stabilität bei Trainings- und Fine-Tuning-Workloads. Die wichtigste Praxis-Folge: Hardware-Schwelle für ein 70B-Modell sinkt von zwei H100-GPUs (FP16) auf eine einzige H100 (INT4). Damit wird selbst-gehostete Open-Weight-Inferenz für mittelgroße Unternehmen wirtschaftlich tragfähig — eine H100 im Co-Location amortisiert sich bei mittlerer Auslastung in 12 bis 24 Monaten.

Modellgewichte sind die zentrale Instanz, die KI-Souveränität konkret macht. Wer die Gewichte besitzt und auf eigener Infrastruktur ausführen kann, ist nicht von Anbieter-Politik, Sanktionen, Preiserhöhungen oder API-Abschaltungen abhängig. Für die Audit-Praxis bedeuten Modellgewichte zwei Dinge. Erstens: Modell-Versionierung wird trivial. Sie speichern den Hash der Safetensors-Datei und können später eindeutig nachweisen, welche Modell-Version zu welcher Inferenz geführt hat. Bei Closed-API-Modellen ist das nicht möglich — der Anbieter kann das Modell stillschweigend updaten, ohne dass Sie es bemerken. Zweitens: Reproduzierbarkeit auf Inferenz-Ebene. Mit identischen Gewichten, identischer Inferenz-Engine-Version und festen Sampling-Parametern (Temperature 0, fixed Seed) erzeugen Sie deterministisch identische Outputs. Das ist die Grundlage wissenschaftlicher Studien mit KI-Komponente und EU-AI-Act-konformer Audit-Logs. Drittens: Fine-Tuning bleibt souverän. Auf Open-Weight-Basis trainierte Adapter (LoRA) sind portabel und versionierbar. Anders als bei Closed-Provider-Fine-Tunes besitzen Sie das Ergebnis vollständig — und können es bei Bedarf zu einem anderen Anbieter migrieren oder selbst hosten. Modellgewichte sind das Schlüssel-Asset, um das herum die anderen Souveränitäts-Schichten gebaut werden.