Mit Muse Glimmer präsentiert der Zuckerberg-Konzern ein dichtes KI-Modell mit 30 Milliarden Parametern, das direkt auf Endgeräten läuft, für lokale agentische Workflows konzipiert ist und unter anderem mit dem Output von Muse Spark trainiert wurde. Der Anbieter bezeichnet es als "multimodalen Transformer, der ausschliesslich als Decoder fungiert und über einen integrierten Bild-Encoder verfügt".
Das Modell sei klein genug, um problemlos auf einem Mac oder PC mit einer gängigen GPU der Consumer-Klasse zu laufen, heisst es
in der Ankündigung. Konkret denkt
Meta dabei wohl an Macs mit einem neueren Apple-Silicon-Chip (M4, M5) und an PCs mit einer leistungsfähigen Grafikkarte. Der Speicherbedarf liegt zwischen 24 und 32 GB. Meta nennt für Muse Glimmer Einsatzszenarien wie lokal laufende Agenten, lokales Coding und Bewertung des Outputs anderer LLMs (LLM-as-a-judge Evaluation). Da das Modell lokal läuft, müssen für all diese Aufgaben keine Daten in die Cloud übertragen werden.
Metas neues Modell ist ab sofort verfügbar, die Weights stehen auf Hugging Face zum Download bereit. Demnächst soll Muse Glimmer auch über bekannte KI-Anbieterseiten wie Ollama, LM Studio und Unsloth verfügbar werden. Meta arbeitet zudem mit Partnern wie AMD, ARM, Dell, Intel und Nvidia zusammen, um die Performance des Modells über verschiedene Geräteklassen hinweg zu optimieren. Für Entwickler bietet Meta eine ausführliche
Dokumentation an.
(ubi)
