Kreuzvalidierung

Author: Hans Lohninger

Bei der Entwicklung multivariater Modelle ist es sehr wichtig, deren Gültigkeit zu überprüfen. Während die Zuverlässigkeit linearer Modelle normalerweise durch einige theoretisch fundierte Maße ausgedrückt werden kann (z.B. durch den F-Wert oder das Bestimmtheitsmaß), lässt sich die Zuverlässigkeit anderer Methoden (z.B. neuronaler Netze oder andere nicht linearer Modelle) schwerer prüfen. Eine spezielle Methode, um die Qualität eines Modells zu bewerten, ist die Kreuzvalidierung (engl. cross validation), die auch Boot-Strapping genannt wird.

Obwohl es verschiedenste Arten der Kreuzvalidierung gibt, bleibt das Prinzip das Gleiche: die Modelldaten werden in zwei sich gegenseitig ausschließende Mengen aufgeteilt, in eine größere (die Trainingsmenge) und eine kleinere (die Testmenge). Die größere Datenmenge wird dazu verwendet, ein Modell aufzustellen, während die kleinere Datenmenge dazu dient, das Modell zu bestätigen, indem man das Modell auf die kleinere Datenmenge anwendet und die Ergebnisse mit den tatsächlichen Werten vergleicht. Dieser Prozess wird mit verschiedenen Untermengen so lange wiederholt, bis jedes Objekt der Datenmenge einmal für die Testmenge verwendet wurde.

Die Größe der Testmenge für jede Wiederholung der Prozedur kann den Bedürfnissen des Benutzers angepasst werden und hängt hauptsächlich von der Größe des gesamten Datensatzes sowie der Zeit und dem Aufwand für die Ausführung der Kreuzvalidierung ab. Es gibt zwei denkbare Extremfälle: (1) die Datenmenge auf zwei gleich große Hälften aufzuteilen; (2) nur ein einziges Objekt für die Testmenge auszuwählen. Die letztere Vorgehensweise wird auch vollständige Kreuzvalidierung genannt und ist generell besser. Um die Leistung einer Methode zu messen, sollte man den PRESS berechnen.