US-amerikanische Forscher berichten in einer
kürzlich veröffentlichten Studie von sogenannten "Package Hallucinations". Dabei handelt es sich um ein Phänomen bei der Softwareentwicklung mithilfe von LLMs beziehungsweise GenAI-Diensten. Ähnlich zu den bereits bekannten Halluzinationen verweisen die KIs im Rahmen des Codings auf nicht existierende Pakete.
Für ihre Studie haben die Forscher über 16 LLMs 576‘000 Code Samples in zwei Programmiersprachen erstellt. Ergebnis: Kommerzielle Sprachmodelle lieferten einen Anteil von 5,2 Prozent an halluzinierten Paketen, Open-Source-Modelle sogar 21,7 Prozent. In Summe ergab die Untersuchung 205‘474 halluzinierte Paketnamen. Somit handelt es sich nicht etwa um einen Zufall, sondern um ein systematisches Phänomen.
Was auf den ersten Blick nach einem Qualitätsproblem klingt, schafft ein gravierendes Sicherheitsrisiko. So verweisen die Forscher darauf, dass Cyberkriminelle die halluzinierten Paketnamen nutzen könnten, um unter diesen Malware in einem Open-Source Repository zu veröffentlichen. Die Software würde die Malware anschliessend automatisch ins System laden.
(sta)
