So funktioniert es
Eine unabhängige Prüfung mit getrennten Daten hilft, das Problem zu erkennen. Wichtig ist, dass Testdaten nicht indirekt bereits in Entwicklung oder Auswahl des Modells eingeflossen sind.
Beispiel aus dem Arbeitsalltag
Ein Modell erkennt alte Reklamationen hervorragend, scheitert aber an neuen Formulierungen. Ein Test mit später eingegangenen, bisher ungenutzten Nachrichten macht die Schwäche sichtbar.
Worauf es ankommt
Auch die wiederholte Anpassung an dieselben Testfragen kann zu einer Art Überanpassung führen. Halten Sie zusätzliche Prüfbeispiele zurück und achten Sie auf Daten, die den späteren Einsatz wirklich abbilden.