Waehrend die grossen Schlagzeilen rund um KI meist von immer groesseren Sprachmodellen handeln, geht es heute um das Gegenteil: ein bewusst kleines Modell, das eine sehr spezifische Aufgabe besonders gut erledigen soll. IBM hat ein neues Embedding-Modell veroeffentlicht, das sich an Entwicklerinnen und Entwickler richtet, die Texte in vielen Sprachen durchsuchbar machen wollen - und das ohne teure Lizenz. Der Name: Granite Embedding Multilingual R2. Die Botschaft dahinter: Auch in der offenen KI-Welt zaehlt nicht nur Groesse, sondern Effizienz.

Konkret handelt es sich laut dem Eintrag im Blog von Hugging Face, einer Plattform fuer offene KI-Modelle, um ein Embedding-Modell - also ein System, das Texte in mathematische Vektoren uebersetzt, damit Computer aehnliche Inhalte finden koennen. Das Modell ist mehrsprachig, hat ein Kontextfenster von 32.000 Token (also rund 32.000 Texteinheiten, die das Modell auf einmal verarbeiten kann) und steht unter der Apache-2.0-Lizenz, die kommerzielle Nutzung erlaubt. IBM gibt im Titel an, in der Klasse unter 100 Millionen Parametern die beste Retrieval-Qualitaet zu erreichen. Belastbare Vergleichszahlen sind im Material aber nicht enthalten.

Diese Kombination ist deshalb interessant, weil Embedding-Modelle das Rueckgrat vieler praktischer KI-Anwendungen bilden: Sie stecken in firmeninternen Suchsystemen, in Chatbots, die auf eigene Dokumente zugreifen, oder in sogenannten RAG-Systemen (Retrieval Augmented Generation, also Sprachmodelle, die zuerst passende Textstellen suchen und dann antworten). Ein kleines, mehrsprachiges Modell unter offener Lizenz ist fuer Unternehmen attraktiv, weil es lokal laufen kann, ohne dass Daten an einen externen Anbieter fliessen. Wer heute auf kostenpflichtige Embedding-Schnittstellen von OpenAI oder Cohere setzt, bekommt mit Granite R2 eine Alternative, die sich offenbar gezielt an diese Zielgruppe richtet. Auch der lange Kontext von 32.000 Token ist relevant, weil sich damit ganze Vertraege oder Handbuecher am Stueck verarbeiten lassen, ohne sie kuenstlich zu zerstueckeln.

Was offen bleibt: Im Material liegen keine konkreten Benchmark-Zahlen, keine Vergleichswerte zu Konkurrenzmodellen und keine Angaben zur tatsaechlichen Parameterzahl vor - nur die Aussage, dass sie unter 100 Millionen liegt. Auch welche Sprachen unterstuetzt werden und wie gut die Qualitaet in selteneren Sprachen ist, geht aus dem vorliegenden Hinweis nicht hervor. Die Behauptung der besten Retrieval-Qualitaet in dieser Groessenklasse stammt zudem von IBM selbst und ist im verfuegbaren Material nicht unabhaengig bestaetigt. Wer das Modell produktiv einsetzen will, muesste es vermutlich an den eigenen Daten testen, bevor er sich auf die Marketing-Aussage verlaesst.

Beobachtenswert ist in den kommenden Wochen, ob unabhaengige Tester das Modell in gaengige Embedding-Ranglisten einordnen und wie es sich dort gegen aehnlich grosse offene Modelle schlaegt. Auch die Frage, ob IBM seine Granite-Reihe weiter konsequent unter offenen Lizenzen ausbaut, duerfte fuer die Open-Source-KI-Szene relevant bleiben - gerade in einer Phase, in der einige Anbieter ihre Lizenzbedingungen eher verschaerfen als oeffnen.