Der Rechner setzt den Abstand zwischen zwei Testergebnissen in Bezug zum Messfehler beider Verfahren. Er zeigt, ob eine Differenz dieser Größe bei der gewählten Sicherheitswahrscheinlichkeit noch plausibel durch Messfehler zu erklären ist. Eine Restwahrscheinlichkeit für einen Irrtum bleibt immer. Die Reliabilitäten finden Sie im Testhandbuch unter „Reliabilität“ bzw. „interne Konsistenz“.
Lage beider Werte in der Normalverteilung
Differenz im Vergleich zur kritischen Grenze
Die Reliabilität beschreibt die Messgenauigkeit einer Skala. Jeder Testwert enthält einen Messfehler, deshalb braucht man eine Angabe dazu, wie zuverlässig das Verfahren misst. Meist wird die interne Konsistenz angegeben (z. B. Cronbachs α), also wie stark die Items einer Skala zusammenhängen. Je niedriger die Reliabilitäten beider Tests, desto größer muss der Abstand sein, bevor man von einem echten Unterschied sprechen kann.
Die Sicherheitswahrscheinlichkeit legt fest, wie oft man einen Irrtum in Kauf nimmt. Bei 95 % würde man in etwa 5 von 100 Fällen einen Unterschied annehmen, der nur auf Messfehler zurückgeht. Eine höhere Sicherheit macht die Aussage verlässlicher, verlangt aber größere Differenzen. Bei folgenreichen Entscheidungen (z. B. Feststellung eines Förderbedarfs) ist eine höhere Sicherheit angemessen.
Zweiseitig prüft, ob sich die Werte überhaupt unterscheiden. Einseitig passt nur, wenn vorab eine Richtung begründet ist (z. B. „Rechtschreibung schwächer als Lesen“).
| Sicherheit | z zweiseitig | z einseitig |
|---|---|---|
| 90 % | 1,645 | 1,282 |
| 95 % | 1,960 | 1,645 |
| 99 % | 2,576 | 2,326 |
Konfidenzintervalle stehen meist im Manual, kritische Differenzen nicht: Sie hängen davon ab, mit welchem zweiten Verfahren verglichen wird. Typische Frage: Unterscheiden sich die Leistungen in einem Rechtschreibtest wirklich von denen in einem Lesetest, etwa um eine isolierte Rechtschreibstörung abzusichern, oder liegt die Abweichung im Messfehler der Instrumente?
Werte auf unterschiedlichen Skalen werden vor dem Vergleich in z-Werte umgerechnet. Voraussetzung ist, dass beide Normen an vergleichbaren Stichproben gewonnen wurden.