Ein neuer Maßstab für die Risiken von KI

MLCommons, eine gemeinnützige Organisation, die Unternehmen dabei hilft, ihre Leistung zu messen künstliche Intelligenz Systems, führt einen neuen Benchmark ein, um auch die schlechten Seiten der KI zu beurteilen.

Der neue Maßstab, genannt AIluminatebewertet die Reaktionen großer Sprachmodelle auf mehr als 12.000 Testaufforderungen in 12 Kategorien, darunter Anstiftung zu Gewaltverbrechen, sexuelle Ausbeutung von Kindern, Hassreden, Förderung von Selbstverletzung und Verletzung von geistigem Eigentum.

Je nachdem, wie sie abschneiden, erhalten Modelle die Note „schlecht“, „mittelmäßig“, „gut“, „sehr gut“ oder „ausgezeichnet“. Die zum Testen der Modelle verwendeten Eingabeaufforderungen werden geheim gehalten, um zu verhindern, dass sie als Trainingsdaten enden, die es einem Modell ermöglichen würden, den Test zu bestehen.

Peter Mattson, Gründer und Präsident von MLCommons und leitender Ingenieur bei Google, sagt, dass es technisch schwierig sei, den potenziellen Schaden von KI-Modellen zu messen, was zu Inkonsistenzen in der gesamten Branche führe. „KI ist eine wirklich junge Technologie, und KI-Tests sind eine wirklich junge Disziplin“, sagt er. „Die Verbesserung der Sicherheit kommt der Gesellschaft zugute; es kommt auch dem Markt zugute.“

Zuverlässige, unabhängige Methoden zur Messung von KI-Risiken könnten unter der nächsten US-Regierung an Bedeutung gewinnen. Donald Trump hat versprochen, die AI Executive Order von Präsident Biden abzuschaffen Maßnahmen eingeführt, die einen verantwortungsvollen Umgang mit KI sicherstellen sollen von Unternehmen sowie ein neues AI Safety Institute zum Testen leistungsstarker Modelle.

Die Bemühungen könnten auch eine stärkere internationale Perspektive auf die Schäden durch KI bieten. Zu den Mitgliedsorganisationen von MLCommons zählen zahlreiche internationale Firmen, darunter die chinesischen Unternehmen Huawei und Alibaba. Wenn diese Unternehmen alle den neuen Benchmark verwenden würden, wäre dies eine Möglichkeit, die KI-Sicherheit in den USA, China und anderswo zu vergleichen.

Einige große US-amerikanische KI-Anbieter haben AIluminate bereits zum Testen ihrer Modelle genutzt. Das Claude-Modell von Anthropic, das kleinere Modell Gemma von Google und ein Modell von Microsoft namens Phi schnitten im Test alle mit „sehr gut“ ab. Der GPT-4o von OpenAI und das größte Llama-Modell von Meta schnitten beide mit „gut“ ab. Das einzige Modell, das mit „mangelhaft“ punktete, war OLMo vom Allen Institute for AIobwohl Mattson anmerkt, dass es sich hierbei um ein Forschungsangebot handelt, das nicht auf Sicherheit ausgelegt ist.

„Insgesamt ist es gut, wissenschaftliche Genauigkeit in den KI-Bewertungsprozessen zu sehen“, sagt Rumman Chowdhury, CEO von Humane Intelligenzeine gemeinnützige Organisation, die sich auf Folgendes spezialisiert hat Testen oder Red-Teaming von KI-Modellen für Fehlverhalten. „Wir brauchen Best Practices und umfassende Messmethoden, um festzustellen, ob KI-Modelle die Leistung erbringen, die wir von ihnen erwarten.“