Messung von Unterrichtsqualität durch Ratings

Bislang existieren nur wenige Arbeiten, die sich dezidiert mit der Eignung von Beobachterratings zur Messung von Unterrichtsqualität beschäftigen. Hier wird mittels fünf empirischer Studien die Reliabilität und Validität von Beobachterratings thematisiert. Es wird u. a. den folgenden Fragen nachgegangen: In welchem Ausmaß sind hochinferente Beobachterratings zu Unterrichtsqualität durch Raterfehler verzerrt? Sind Unterrichtseinschätzungen geschulter Beobachter reliabler und valider als solche von ungeschulten Ratern? Wie stabil sind Merkmale von Unterrichtsqualität über Unterrichtsstunden hinweg?

Ratings externer Beobachter werden oft als Königsweg zur Erfassung von Unterrichtsqualität beschrieben. In der Unterrichtsforschung existieren bislang allerdings nur wenige Arbeiten, die sich dezidiert mit der Eignung solcher Beobachterratings zur Messung von Unterrichtsqualität beschäftigen. In diesem Buch wird mittels fünf empirischer Studien die Reliabilität und Validität von Beobachterratings thematisiert: In welchem Ausmaß sind hochinferente Beobachterratings zu Unterrichtsqualität durch Raterfehler verzerrt? Sind Unterrichtseinschätzungen geschulter Beobachter reliabler und valider als solche von ungeschulten Ratern? Wie stabil sind Merkmale von Unterrichtsqualität über Unterrichtsstunden hinweg? Die durchgeführten Analysen zeigen, dass Raterfehler auch bei der Unterrichtsbeurteilung durch trainierte Beobachter ein nicht unerhebliches Problem darstellen. Insgesamt stellen die Ergebnisse die Beschreibung von Ratings externer Beobachter als Königsweg in Frage.

Autorentext
Anna-Katharina Praetorius: Studium der Pädagogik, Grundschulpädagogik und Psychologie an der Universität Erlangen-Nürnberg; 2009-2012 Promotionsstipendiatin an der Universität Koblenz-Landau im DFG-Graduiertenkolleg Unterrichtsprozesse; seit Juni 2015 Mitarbeiterin in der Arbeitseinheit Bildungsqualität und Evaluation am Deutschen Institut für Internationale Pädagogische Forschung (DIPF), Frankfurt am Main

Klappentext

Ratings externer Beobachter werden oft als "Königsweg" zur Erfassung von Unterrichtsqualität beschrieben. In der Unterrichtsforschung existieren bislang allerdings nur wenige Arbeiten, die sich dezidiert mit der Eignung solcher Beobachterratings zur Messung von Unterrichtsqualität beschäftigen. In diesem Buch wird mittels fünf empirischer Studien die Reliabilität und Validität von Beobachterratings thematisiert: In welchem Ausmaß sind hochinferente Beobachterratings zu Unterrichtsqualität durch Raterfehler verzerrt? Sind Unterrichtseinschätzungen geschulter Beobachter reliabler und valider als solche von ungeschulten Ratern? Wie stabil sind Merkmale von Unterrichtsqualität über Unterrichtsstunden hinweg? Die durchgeführten Analysen zeigen, dass Raterfehler auch bei der Unterrichtsbeurteilung durch trainierte Beobachter ein nicht unerhebliches Problem darstellen. Insgesamt stellen die Ergebnisse die Beschreibung von Ratings externer Beobachter als "Königsweg" in Frage.

Zusammenfassung
Der Band ist trotz der umfangreichen statistischen Darlegungen gut lesbar. Eine gewinnbringende Lektüre setzt allerdings ein fortgeschrittenes Verständnis empirischer Sozialforschung voraus, wenngleich die Ergebnisse, Diskussionen und Zusammenfassungen auch von einem breiteren Fachpublikum erschlossen werden können. Schließlich sind die knappen, konsistenten und kundigen Einführungen in die jeweiligen theoretischen Vorarbeiten zu erwähnen, deren Lektüre unabhängig von den konkreten Befunden ein Gewinn für alle mit hoch-inferenten Ratings konfrontierten Forschenden sein dürfte. Der Band wendet sich insgesamt ausschließlich an einen wissenschaftlichen Leserkreis, ein für eine Dissertation angemessener Anspruch. - Colin Cramer in: Erziehungswissenschaftliche Revue - EWR, 1/2015