So funktioniert es
Eine geeignete Prüfung verwendet realistische Beispiele, klare Bewertungskriterien und schwierige Ausnahmefälle. Änderungen an Modellen, Daten oder Anweisungen sollten mit denselben Fällen erneut geprüft werden.
Beispiel aus dem Arbeitsalltag
Ein Wissensassistent wird mit Fragen getestet, deren richtige Fundstellen bekannt sind. Bewertet werden vollständige Antworten, korrekte Quellen und der Umgang mit fehlenden Informationen.
Worauf es ankommt
Eine gute Vorführung ist kein belastbarer Qualitätsnachweis. Tests sollten auch unklare Fragen, veraltete Dokumente und unterschiedliche Benutzerrechte enthalten. Automatische Bewertungen ersetzen die Fachprüfung nicht vollständig.
Quelle und weiterführende InformationenNIST: AI Risk Management Framework ↗