Multimodale KI kann mit mehreren Arten von Inhalten („Modalitäten“) umgehen – Text, Bilder, Audio und Video – statt nur mit Text. Du kannst ihr also ein Foto zeigen und Fragen dazu stellen, ein Diagramm erklären lassen oder per Sprache mit ihr reden.
Was bedeutet „Modalität“?
Eine Modalität ist eine Inhaltsform: Text, Bild, Ton, Video. Klassische Sprachmodelle (LLMs) konnten ursprünglich nur Text lesen und schreiben. Multimodale Modelle verarbeiten mehrere dieser Formen – als Eingabe (z. B. ein Foto verstehen), als Ausgabe (z. B. ein Bild erzeugen) oder beides.
Was kannst du damit konkret machen?
- Ein Foto einer Fehlermeldung, eines Dokuments oder einer Pflanze hochladen und erklären lassen, was zu sehen ist
- Handschriftliche Notizen oder Rechnungen in Text und Tabellen umwandeln
- Per Sprachmodus natürlich mit der KI sprechen – sie hört zu und antwortet mit Stimme
- Bilder und Videos aus Textbeschreibungen erzeugen lassen
Welche Modelle sind multimodal?
Praktisch alle aktuellen Spitzenmodelle: die GPT-Reihe von OpenAI, Claude von Anthropic und Gemini von Google verstehen Bilder; für Video- und Musikerzeugung gibt es spezialisierte Modelle wie Sora oder Veo. Welche Funktion bei welchem Anbieter steckt, zeigt unsere Übersicht der KI-Funktionen & Möglichkeiten.