Ein wichtiges Thema, wenn es um KI geht, ist die Sicherheit vor neuartigen Angriffen wie Prompt Injections oder Halluzinationen, also KI-Ergebnisse, die sich nicht mit den genutzten Daten begründen lassen. Dem tritt Microsoft mit einem Safety- und Security-System in Azure AI entgegen, das auf jeder Ebene in den Copilot-Stack integriert ist. KI via Copilot sei damit "Safe and Secure by Default", wie Sarah Bird, Chief Product Officer for Responsible AI bei
Microsoft, an der Build 2024 betonte.
Das Safety-System, genannt Azure AI Content Safety, liegt einerseits zwischen den User-Prompts und dem KI-Modell und schützt so unter anderem vor Prompt Injections. Auf der anderen Seite überwacht es den Output des KI-Modells, etwa auf Copyright-Verletzungen, schädliche Inhalte oder halluzinierte Ergebnisse. Gegen Prompt Injections kommen sogenannte Prompt Shields zum Einsatz. Halluzinationen werden mithilfe der Groundedness Detection erkannt, bei der geprüft wird, ob die Ergebnisse des KI-Modells tatsächlich den genutzten Daten entsprechen oder frei erfunden sind. Zur Eliminierung anderen unerwünschten Outputs dienen konfigurierbare Content-Filter. Entwickler können damit für jede Kategorie nicht erwünschter Ergebnisse festlegen, ob und inwieweit darauf geprüft werden soll.
Darüber hinaus ist
Microsoft soeben eine Partnerschaft mit dem KI-Security-Spezialisten Hiddenlayer eingegangen und hat dessen Model Scanner in das Sicherheitsdispositiv von Azure AI integriert. Der Model Scanner scannt Modelle von Drittanbietern sowie Open-Source-Modelle, die in der von Azure AI kuratierten Modellsammlung mit gegen 1700 Modellen enthalten sind und prüft, ob sie frei von Cybersicherheitslücken, Malware und anderen Anzeichen von Manipulationen sind. Der Scanner erkennt alle wichtigen Modellformate und Frameworks für Machine Learning und analysiert deren Struktur, Schichten, Tensoren, Funktionen und Module, um verdächtigen oder bösartigen Code, Schwachstellen und Integritätsprobleme zu identifizieren.
Als weiteres Element der Azure-AI-Sicherheit nannte Sarah Bird Microsoft Purview (früher Azure Purview), eine Data-Governance-Lösung, die On-Premises-, Multi-Cloud- und SaaS-Daten abdeckt. Purview liefert eine holistische und aktuelle Abbildung der gesamten Datenlandschaft mit automatischer Datenerkennung, Klassifizierung sensibler Daten und durchgängigem Nachweis der Datenherkunft und kann so auf KI-Ergebnisse hinweisen, die nicht im Sinne des Data Governance des Unternehmens zustande gekommen sind. Des Weiteren hat Microsoft die Azure AI Content Safety nativ in seine Cloud-Sicherheitslösung Defender for Cloud integriert, sodass die Sicherheitsverantwortlichen sofort über Jailbreak-Attacken auf KI-Anwendungen und den Abfluss sensibler Daten informiert werden.
(ubi)
