Microsoft will es gegen Ende des Monats ermöglichen, in Github Copilot zwischen Cloud-Modellen und lokalen Modellen zu wählen. Über die Verwaltung der Infrastruktur müssen sich Entwickler dabei keine Sorgen machen. Wie
Microsoft via
Command-Line-Site bekannt gibt, vermag Copilot automatisch zu entscheiden, ob eine Aufgabe am besten auf dem Gerät oder via Cloud-Modell ausgeführt werden soll.
Laut Microsoft bildet der verfügbare Arbeitsspeicher dabei die grösste Einschränkung. Da der Kontext eines KI-Modells während der Aufgaben-Ausführung wächst und neue Anfragen eingehen, steigt auch die Ressourcenauslastung und die Antwortzeiten werden länger. Um dem entgegenzutreten, hat Microsoft mit MAI Code 1.1 Flash ein neues KI-Modell mit insgesamt 137 Milliarden und 5,8 Milliarden aktiven Parametern veröffentlicht. Dieses On-Device-Modell verfügt über Technologien wie Quantisierung oder spekulatives Decodieren, um die Antwortzeiten und den Speicherbedarf zu verbessern. Das Modell soll erstmals auf dem Surface Laptop Ultra mit Nvidias RTX-Spark-SoC ausgeliefert werden.
Um lokale Modelle in der Github Copilot-CLI, der Copilot-App oder Visual Studio Code zu nutzen, bestehen aktuell zwei Möglichkeiten: Zum einen kann man die Auto-Orchestration-Funktion von Copilot entscheiden lassen, wann eine lokale oder eine Cloud-Ausführung zum Zug kommen soll, oder man kann explizit ein lokales Modell auswählen.
(rd)
