Sowohl
Google als auch
Microsoft haben neue KI-Modelle für die Verarbeitung direkt auf Geräten lanciert. Im Fall von Microsoft handelt es sich um das kleine Sprachmodell Phi-4-mini-flash-reasoning, das fortgeschrittene Reasoning-Fähigkeiten auf Systemen mit beschränkten Ressourcen wie etwa Edge-Geräten, mobilen Anwendungen und Embedded Systems ermöglichen soll. Durch die Verarbeitung direkt auf den Geräten erhöht sich gleichzeitig die Vertraulichkeit, da keine Daten an zentrale Server übermittelt werden.
Das
neue Phi-Modell von Microsoft arbeitet mit einer neuartigen Architektur namens SambaY. Diese nutzt eine Gated Memory Unit (GMU), die Informationen zwischen den internen Teilen des Modells auf effiziente Art und Weise teilt. Dies wiederum führt zu rascher Antwortzeiten und ermöglicht es, auch sehr lange Eingaben zu verarbeiten und grosse Teile von Texten und Konversationen zu verstehen. Insgesamt soll Phi-4-mini-flash-reasoning einen bis zu zehnfach höheren Durchsatz liefern als andere Phi-Modelle. Darüber hinaus konnte auch die Latenz um die Hälfte bis zwei Drittel reduziert werden. Phi-4-mini-flash-reasoning ist via Azure AI Foundry, Nvidia API Catalog und Hugging Face verfügbar.
Mit dem multimodalen Modell
Gemma 3n bringt auch
Google verbesserte KI Fähigkeiten auf die Geräte. Google hat das Modell im Mai in einer Preview-Version veröffentlicht und vor kurzem offiziell als produktiven Release freigegeben. Gemma 3n unterstützt Input und Output in Form von Bildern, Text, Audio und Video und ist optimiert für Edge-Geräte wie Smartphones, Tablets, Laptops, Desktops sowie Single Cloud Accelerators. Das Modell ist in den zwei Varianten E2B und E4B mit unterschiedlicher Anzahl Parametern erhältlich. E2B arbeitet mit 5 Milliarden Parametern, beansprucht aber nur den Speicherplatz üblicher Zwei-Milliarden-Parameter-Modelle. Für die Variante E5B gelten analog 8 Milliarden nutzbare Parameter versus Speicherbedarf von vier Milliarden Parametern bei anderen Modellen. Die Gemma-3n-Modelle stehen auf Hugging Face und Kaggle zum Download bereit, Entwickler können Sie auch in Google AI Studio ausprobieren.
(ubi)
