KI-Spezialist
Hugging Face hat Llama Windows vorgestellt. Wie die Macher via Blog Post
mitteilen, handelt es sich dabei um eine Open-Source-App, womit die Steuerung von KI-Sprachmodellen via Windows-System Tray zur Verfügung gestellt wird. Die kleine App ermöglicht den Download von Sprachmodellen und auch den direkten Zugriff auf die lokal betriebenen LLMs.
Bei den via Hugging Face Hub herunterladbaren Modellen werden jeweils technische Spezifikationen wie die Modellgrösse oder die Zahl der Parameter angegeben. Der Zugriff darauf erfolgt über die Tastenkombination Alt + Leertaste, worauf ein kleines Chat-Fenster geöffnet wird. Ebenfalls praktisch: Llama Windows arbeitet mit einer OpenAI-kompatiblen API. Die App läuft auf einem lokalen Server unter der Adresse http://localhost:9931, womit eigene Anwendungen und Agenten vom selben Modell Gebrauch machen können.
Windows Llama steht für x64- und ARM-basierte Windows-Systeme zum
Download zur Verfügung. Speziell unterstützt werden zudem die kommenden Systeme mit Nvidias RTX-Spark-Plattform, deren Computing- und Speicherfähigkeiten ohne besonderes Tuning sofort genutzt werden können.
(rd)
