Open-Source-KI bedeutet: Die Modelldateien sind frei verfügbar, du kannst das Modell herunterladen, auf eigener Hardware betreiben und anpassen – ohne dass deine Daten zu einem Anbieter wandern. Bekannteste Beispiele sind Llama von Meta, die Modelle von Mistral aus Frankreich und DeepSeek aus China.
„Open Weights” trifft es genauer
Bei klassischer Open-Source-Software liegt der Quellcode offen. Bei einem Sprachmodell ist das Entscheidende aber nicht der Code, sondern die trainierten Gewichte (englisch: weights) – die Milliarden Zahlen, die das Wissen des Modells ausmachen. Genau die werden veröffentlicht. Die Trainingsdaten dagegen bleiben fast immer geheim. Deshalb spricht man korrekter von Open-Weights-Modellen.
Auch die Lizenzen sind unterschiedlich streng: Manche sind echte Open-Source-Lizenzen (Apache 2.0, MIT), andere erlauben die kommerzielle Nutzung nur unter Auflagen. Wenn du ein Modell geschäftlich einsetzt, lies die Lizenz.
Der große Vorteil: Datenschutz
Ein lokal laufendes Modell schickt nichts ins Internet. Für Berufsgruppen mit Schweigepflicht – Ärzte, Anwälte, Steuerberater – oder für Unternehmen mit sensiblen Daten ist das oft das einzige Argument, das zählt: Ohne Datenübermittlung gibt es auch kein DSGVO-Problem mit einem Auftragsverarbeiter. Details dazu in der Kategorie Datenschutz & Recht.
Dazu kommen: keine laufenden Kosten pro Token, keine Abhängigkeit von einem Anbieter, der Preise oder Modelle ändert, und die Möglichkeit, das Modell per Fine-Tuning auf deinen Anwendungsfall zu trimmen.
Was du dafür brauchst
Kleine Modelle laufen auf einem normalen Rechner mit ausreichend Arbeitsspeicher, größere brauchen eine kräftige Grafikkarte mit viel VRAM. Der Einstieg ist einfacher, als viele denken: Programme wie Ollama oder LM Studio laden das Modell herunter und stellen eine Chat-Oberfläche bereit – mehrere Klicks statt Kommandozeile. Wer nicht selbst hosten will, kann Open-Weights-Modelle auch bei europäischen Anbietern in der Cloud nutzen.
Der Nachteil: der Leistungsabstand
Die offenen Modelle sind stark, aber die Spitzenmodelle der großen Anbieter bleiben in anspruchsvollen Aufgaben – langes Nachdenken, komplexes Programmieren, große Kontextfenster – meist ein Stück voraus. Der Abstand ist in den letzten Jahren deutlich geschrumpft, aber er ist da. Und ein lokales Modell auf deinem Laptop antwortet spürbar langsamer als ein Rechenzentrum.
Für wen lohnt es sich?
Faustregel: Wenn Datenschutz der Grund ist, lohnt sich lokale KI fast immer. Wenn maximale Qualität der Grund ist, meistens nicht. Für alltägliche Aufgaben – Texte, Zusammenfassungen, Übersetzungen, einfache Auswertungen – reicht ein gutes offenes Modell heute völlig aus. Welche Anbieter es gibt, steht unter Weitere KI-Anbieter.
Verwandte Begriffe
LLM · Meta & Llama · Fine-Tuning · Chat, API, CLI & Apps · Zum ganzen KI-Glossar