PISA-Studien

Datei:PISA-LOGO.JPG

Das Programme for International Student Assessment (PISA) der OECD hat zum Ziel, alltagsrelevante Kenntnisse und Fähigkeiten 15-jähriger Schüler zu messen. Die PISA-Studien werden seit dem Jahr 2000 in dreijährigem Turnus in den meisten Mitgliedsstaaten der OECD und einer zunehmenden Anzahl von Partnerstaaten durchgeführt.

Dieser Artikel behandelt die internationale Studie der OECD. Das Konzept der OECD sieht ausdrücklich die Möglichkeit vor, dass Teilnehmerstaaten den internationalen Test um nationale Komponenten erweitern. Diese Möglichkeit wurde in Deutschland genutzt: für die Erweiterungsstudien wurde ein wesentlich größerer Aufwand getrieben als für die Beteiligung am internationalen Test. Siehe dazu die folgenden Artikel:

• PISA-E: Synchron mit der internationalen Studie durchgeführt; wesentlich größere Stichprobe, um einen Bundesländervergleich zu ermöglichen; zusätzliche Aufgaben und Fragebögen.
• PISA-International-Plus: eine Studie, in der einige Schulklassen nach einem Jahr ein zweites Mal getestet werden, um Lernfortschritte im Laufe des 9./10. Schuljahrs zu messen.
• PISA-Elternstudie: Eltern nahmen an demselben Test teil wie zuvor ihre Kinder.

Die folgenden Merkmale unterscheiden PISA zum Teil deutlich von früheren Schulleistungsuntersuchungen:

• PISA wird im Auftrag der Regierungen durchgeführt (in Deutschland: der Kultusministerkonferenz).
• PISA soll in regelmäßigem Turnus fortgeführt werden.
• PISA untersucht Schüler einer Altersstufe, nicht einer schulischen Klassenstufe.
• PISA konzentriert sich nicht auf ein einzelnes Schulfach, sondern untersucht die drei Bereiche Lesekompetenz, Mathematik und Naturwissenschaften.
• Aufgaben werden in „persönlich oder kulturell relevante Kontexte" eingebettet.
• PISA orientiert sich nicht an der Schnittmenge nationaler Curricula, sondern postuliert einen eigenen Bildungsbegriff, der auf Englisch als literacy bezeichnet wird: „das Wissen, die Fähigkeiten, die Kompetenzen, ... die relevant sind für persönliches, soziales und ökonomisches Wohlergehen" (OECD 1999). „Hinter diesem Konzept verbirgt sich der Anspruch, über die Messung von Schulwissen hinauszugehen und die Fähigkeit zu erfassen, bereichsspezifisches Wissen und bereichsspezifische Fertigkeiten zur Bewältigung von authentischen Problemen einzusetzen." ^[1] .

Vertragsmäßige Aufgabe der OECD ist Politikberatung. PISA soll nicht nur eine Beschreibung des Ist-Zustands liefern, sondern Verbesserungen auslösen. Insoweit PISA ein eigenes Bildungskonzept zugrundeliegt, wird zumindest implizit der Anspruch erhoben, auf die nationalen Lehrpläne zurückzuwirken.

Jede PISA-Studie umfasst die drei Bereiche Lesekompetenz, Mathematik und Naturwissenschaften. Bei jedem Durchgang wird ein Bereich vertieft untersucht: 2000 die Lesekompetenz, 2003 Mathematik, 2006 Naturwissenschaften. Dieser Zyklus soll alle neun Jahre wiederholt werden.

Zusätzlich wird in jeder Studie ein Querschnittsthema untersucht: 2000 Lernstrategien und Selbstreguliertes Lernen, 2003 Problemlösung, 2006 Informationstechnische Grundbildung. Diese Zusatzuntersuchung wird nicht in allen Staaten durchgeführt.

ausführliche Darstellung im Artikel Methodik der PISA-Studien

PISA wird im Auftrag der OECD und unter Mitwirkung verschiedener Beratergremien von einem Unternehmenskonsortium der Testindustrie durchgeführt. In den Teilnehmerstaaten sind nationale Projektzentren beteiligt. In jedem Staat werden ca. 5000 Schüler getestet.

Der Test umfasst eine zweistündige "kognitive" Testsitzung, gefolgt von einer knapp einstündigen Fragebogensitzung. Im kognitiven Test bearbeiten nicht alle Schüler dieselben Aufgaben; 2003 wurden dreizehn verschiedene Testhefte (sowie in manchen Ländern in Sonderschulen ein Kurzheft) eingesetzt; von insgesamt 165 verschiedenen Aufgaben hatte jeder einzelne Schüler nur ca. 50 zu bearbeiten.

Die Schülerlösungen werden von angelernten Hilfskräften codiert, digital erfasst und ans internationale Projektzentrum nach Australien zur weiteren Auswertung übermittelt. Die meisten Aufgaben werden letztlich nur als entweder "falsch" oder "richtig" bewertet. Je nachdem, wieviele Schüler eine Aufgabe richtig gelöst haben, wird der Aufgabe ein bestimmter "Schwierigkeitswert" zugeordnet. Je nachdem, wieviele Aufgaben ein Schüler gelöst hat, wird dem Schüler eine bestimmte Spanne "plausibler" "Kompetenzwerte" zugeordnet. Schwierigkeits- und Kompetenzwertekskala werden nachträglich so skaliert, dass die Kompetenzwerte im OECD-Staatenmittel den Mittelwert 500 und die Standardabweichung 100 haben. Um auszugleichen, dass die Testhefte unterschiedlich schwierig waren, und dass einzelne Aufgaben in einzelnen Staaten, zum Beispiel wegen Druckfehlern, nicht gewertet werden konnten, wird die gesamte "Skalierung" der Schwierigkeits- und Kompetenzwerte unter Zuhilfenahme eines komplexen mathematischen Modells des Schülerantwortverhaltens, der sogenannten Item-Response-Theorie berechnet.

Die Aufgabenschwierigkeitswerte erlauben ansatzweise eine didaktische Interpretation der Testergebnisse: wenn ein Schüler beispielsweise 530 Kompetenzpunkte erzielt hat, dann kann er mit 62%iger Wahrscheinlichkeit (die Zahl 62% ist willkürlich festgelegt worden) eine Aufgabe der Schwierigkeit 530 lösen. Wenn man sich nun veröffentlichte Aufgabenbeispiele anschaut, deren Schwierigkeitswert in der Nähe von 530 liegt, dann bekommt man einen Eindruck, was ein Kompetenzwert von 530 bedeutet. Allerdings muss man dabei mitdenken, dass der Test unter erheblichem Zeitdruck stattfindet (knapp über 2 Minuten pro Aufgabe).

Fast alle weiterführenden Auswertungen beruhen darauf, dass die statistische Verteilung der Schülerkompetenzwerte in den Teilnehmerstaaten oder feiner aufgeschlüsselten Populationen untersucht wird.

PISA misst Schülerleistung in Punkten auf einer willkürlichen Skala. Interpretierbar werden die Punktwerte erst, wenn sie in einen Kontext gesetzt werden. Das geschieht regelmäßig durch den Vergleich zwischen verschiedenen Ländern. Die Berichte der OECD und ihrer Projektpartner bestehen dementsprechend zu einem erheblichen Teil aus Länder-Ranglisten.

Die elementarste und meistbeachtete Statistik fasst die Schülerleistungen zu Mittelwerten zusammen. In der folgenden Tabelle sind die bisherigen Ergebnisse der mehrheitlich deutschsprachigen Staaten, einiger weiterer OECD-Staaten sowie einiger Nicht-OECD-Staaten (kursiv) zusammengefasst; in Klammern der OECD-Rangplatz.

Diese Tabelle ist schon für die Aufnahme der 2006er Resultate vorbereitet, die im Dezember 2007 publiziert werden.

Mathematik			Lesefähigkeit			Naturwissenschaften
2000	2003	2006	2000	2003	2006	2000	2003	2006
Deutschland	490±3 (20)	503±3 (16)	± ()	484±3 (21)	491±3 (18)	± ()	487±2 (20)	502±4 (15)	± ()
Liechtenstein	514±7	536±4	±	483±4	525±4	±	476±7	525±4	±
Luxemburg	446±2 (26)	493±1 (20)	± ()	441±2 (26)	479±2 (23)	± ()	443±2 (26)	483±1 (24)	± ()
Österreich	515±3 (11)	506±3 (15)	± ()	507±2 (10)	491±4 (19)	± ()	519±3 (8)	491±3 (20)	± ()
Schweiz	529±4 (7)	527±3 (7)	± ()	494±4 (17)	499±3 (11)	± ()	496±4 (18)	513±4 (9)	± ()
Belgien	520±4 (9)	529±2 (6)	± ()	507±4 (11)	507±3 (9)	± ()	496±4 (17)	509±3 (11)	± ()
Finnland	536±2 (4)	544±2 (1)	± ()	546±3 (1)	543±2 (1)	± ()	538±3 (3)	548±2 (1)	± ()
Frankreich	517±3 (10)	511±3 (13)	± ()	505±3 (14)	496±3 (14)	± ()	500±3 (12)	511±3 (10)	± ()
Italien	457±3 (24)	466±3 (26)	± ()	487±3 (20)	476±3 (25)	± ()	478±3 (23)	483±3 (24)	± ()
Japan	557±6 (1)	534±4 (4)	± ()	522±5 (8)	498±4 (12)	± ()	550±6 (2)	548±4 (2)	± ()
Kanada	533±1 (6)	532±2 (5)	± ()	534±2 (2)	528±2 (3)	± ()	529±2 (5)	519±2 (8)	± ()
Mexiko	387±3 (27)	385±4 (29)	± ()	422±3 (27)	400±4 (29)	± ()	422±3 (27)	405±3 (29)	± ()
Niederlande	disq.	538±3 (3)	± ()	disq.	513±3 (8)	± ()	disq.	524±3 (5)	± ()
Türkei	k.T.	423±7 (28)	± ()	k.T.	441±6 (28)	± ()	k.T.	434±6 (28)	± ()
USA	493±8 (19)	483±3 (24)	± ()	504±7 (15)	495±3 (15)	± ()	499±7 (14)	± ()	± ()

[Quellen: OECD-Berichte »First Results« 2001, 2004. Abkürzungen: »k.T.« = keine Teilnahme; »disq.« = disqualifiziert wegen zu geringer Teilnahmequote. Dies sind die ursprünglich veröffentlichten Daten; die 2006 für die österreichischen Ergebnisse aus 2000 veröffentlichte Korrektur ist nicht berücksichtigt. Die Zahl hinter dem »±«-Zeichen ist der offizielle Standardfehler, der die stochastische Unsicherheit der Stichprobenziehung sowie der Item-Response-Modellierung angibt; in den Originalberichten ist auch die erste Nachkommastelle angegeben.]

Neben Finnland, Japan und Kanada befinden sich auch Südkorea, Neuseeland, Australien und das Nicht-OECD-Territorium Hongkong regelmäßig in der Spitzengruppe. Vor der Türkei und Mexiko befinden sich am Tabellenende neben Italien regelmäßig Portugal und Griechenland.

Bei einer Aufschlüsselung nach Sprachgruppen fällt auf:

• In Belgien sind die Leistungen im niederländischsprachigen Landesteil wesentlich besser als im französischsprachigen; sie liegen oft noch über den niederländischen Ergebnissen im internationalen Spitzenfeld.
• In der Schweiz sind die Unterschiede zwischen der deutschen und französischen Sprachgruppe eher gering; die italienische Schweiz liegt etwas zurück.
• Die Ergebnisse aus Südtirol sind exzellent und liegen durchweg in der internationalen Spitzengruppe. Dabei haben die Institute mit deutscher Unterrichtssprache leicht besser abgeschnitten als die italienischen. Möglicherweise ist das gute Abschneiden jedoch ein statistisches Artefakt. Es wurden nur 83% aller Fünfzehnjährigen als Schüler erfasst, obwohl in diesem Alter noch Schulpflicht herrscht. Es gibt Hinweise darauf, dass Schüler aus Berufsschulen nicht korrekt erfasst wurden (siehe Kritik weiter unten: verzerrte Stichprobe).
• In Finnland schneidet die etwa 5%ige schwedischsprachige Minderheit um 10 bis 35 Punkte schlechter ab als die finnischsprachige Mehrheit.
• In Kanada schneidet die englischsprachige Mehrheit besser ab als die französischsprachige Minderheit.

Die Ergebnisse aus Liechtenstein stehen unter dem Vorbehalt, dass dort kaum mehr als 300 Fünfzehnjährige wohnen, von denen überdies viele im Verlauf des 16. Lebensjahrs von der Schule abgehen, während in anderen Ländern mehrere Tausend Schüler getestet werden.

Zu den starken Unterschieden zwischen den deutschen Bundesländern siehe PISA-E.

Die Korrelation mit den TIMSS-Studien, die in einigen Staaten parallel zu PISA fortgeführt werden, ist mäßig, was offiziell mit unterschiedlichen Inhalten und mit Normierungseffekten aufgrund unterschiedlicher Teilnehmerschaft erklärt wird.

Um den zahlenmäßigen Ergebnissen eine anschauliche Bedeutung zu geben, teilt das Konsortium die Punkteskala willkürlich in sechs »Kompetenzstufen« und eine darunter liegende Stufe absoluter Inkompetenz. Anhand der Aufgaben, die auf einer Stufe zu lösen sind, wird dann eine verbale Beschreibung dessen, was Schüler auf einer bestimmten Stufe typischerweise können, erarbeitet. Zu beachten ist dabei, dass der Anteil der Schüler auf einer bestimmten Stufe im OECD-Mittel konstant, weil durch die Konstruktion der Schwierigkeits- und Leistungsskalen festgelegt ist. Interpretierbar sind lediglich die zumeist geringen Unterschiede zwischen Staaten.

Schüler unterhalb der Stufe 1 werden international als »at risk« bezeichnet. Die deutsche Projektleitung hat den Begriff »Risikogruppe« jedoch ausgedehnt und die Stufe 1 darin einbezogen. Das wurde in Teilen der Öffentlichkeit verkürzt und im Gegensatz zu Aussagen der internationalen Berichte so rezipiert, als sei ein knappes Viertel aller Fünfzehnjährigen nicht in der Lage, zu rechnen und sinnerfassend zu lesen.

ausführliche Darstellung im Artikel: Auswertung der PISA-Studien: Einfluss des sozialen Hintergrunds

Im Anschluss an die zweistündige »kognitive« Testsitzung bearbeiten die Schüler ein »Questionnaire« mit Fragen zum familiären Hintergrund, zum schulischen Umfeld, zu Lerngewohnheiten und zu anderem mehr. In den offiziellen Ergebnisberichten und in zahlreichen Sekundärstudien wird dargestellt, wie sich diese Kontextvariablen auf die kognitive Testleistung auswirken.

In PISA 2000 wurde festgestellt, dass der Einfluss des sozialen Hintergrunds auf das Testergebnis in Deutschland so stark ist wie nirgendwo sonst. 2003 ging dieser Spitzenplatz an Ungarn über; Deutschland wies nur noch bei einer von zwei verwandten Kenngrößen (Gradient und Korrelationskoeffizient) signifikant überdurchschnittliche Werte auf.

Eine der erklärungsmächtigsten Hintergrundvariablen ist der Migrationshintergrund. In Deutschland besonders auffällig ist das besonders schwache Abschneiden von im Land geborenen Kindern zugewanderter Eltern (Mathematikleistung 2003: 432 Punkte, gegenüber 454 für Einwanderer der ersten Generation und 525 für Schüler ohne Migrationshintergrund; OECD-weite Vergleichszahlen 483, 475, 523). Weitere Aufschlüsselung zeigt, dass insbesondere die schwachen Leistungen türkischer Jugendlicher ein quantitativ bedeutsames Problem darstellen (Mathematikleistung 2003: zweite Generation 411, erste Generation 382).

Auffällig ist der erhebliche Leistungsvorsprung der Mädchen im Lesen (In 2003(?) OECD-weit 34 Punkte, in Deutschland 42). Geringer ist der Vorsprung der Jungen in Mathematik (OECD 11, Deutschland 9).

In den Naturwissenschaften wurde 2000 und 2003 kein statistisch beachtlicher Geschlechterunterschied gefunden, was an der Mischung von Aufgaben aus verschiedensten Gebieten liegt und bei einer genaueren Auswertung der 2006er Schwerpunktstudie korrigiert werden dürfte. Nationale, lehrplannähere Tests bestätigen sehr wohl die konsistente Alltagsbeobachtung, dass im Mittel Jungen in Physik, Mädchen in Biologie mehr leisten.

PISA 2000 und Pisa 2003 haben in einigen Teilnehmerstaaten ein heftiges Medienecho ausgelöst; in Deutschland ist das Wort „PISA" zum Inbegriff aller Probleme des Bildungswesens geworden.

In Deutschland fanden die Ergebnisse von PISA-2000 ein so überwältigendes Medien-Echo, dass von einem PISA-Schock gesprochen wurde, was an den Sputnikschock und die Debatte der 1960er Jahre um die von Georg Picht beschworene "Bildungskatastrophe" erinnerte.

Besonderes Interesse fand der Leistungsvergleich der Bundesländer (PISA-E); bis dato hatten Kultusministerien einen solchen Vergleich stets zu verhindern gewusst. An der Lehrerstudie der OECD beteiligte sich Deutschland nicht. Auch wird man Unterschiede zwischen den internationalen und deutschen PISA-Berichten feststellen.

In Österreich trat der PISA-Schock verspätet ein: Nachdem man sich 2000 noch daran delektiert hatte, deutlich besser als Deutschland abgeschnitten zu haben, wurde das Ergebnis aus 2003 als ein »Absturz«  wahrgenommen. Daraufhin veranlasste Bildungsministerin Elisabeth Gehrer eine Überprüfung durch die Statistiker Erich Neuwirth, Ivo Ponocny und Wilfried Grossmann, die in ihrem (nicht datierten, 2005 oder 2006 erschienen) Untersuchungsbericht zahlreiche Ungereimtheiten bei der Stichprobenziehung und Datenauswertung zutage förderten. Mit einiger Verzögerung hat die OECD 2007 die Österreichischen Ergebnisse aus 2000 offiziell nach unten korrigiert, weil die Stichprobe in den Berufsschulen nicht korrekt gezogen war.

Ähnlich wie in Deutschland sind soziale Unterschiede auffällig. Die Regierungsparteien (ÖVP und FPÖ) verwiesen bevorzugt auf schlechte Deutschkenntnisse von Ausländerkindern. Ministerin Gehrer konstatierte weiterhin ein Fehlverhalten von Eltern, die sich zu wenig um ihre Kinder kümmern würden. Die Opposition (SPÖ und Grüne) äußerte den Vorschlag, statt des stark diversifizierten Schulensystems eine Gesamtschule einzuführen. Diese Idee ist stark beeinflusst vom finnischen Vorbild. Im dortigen Schulsystem gibt es zwar extreme Leistungsunterschiede innerhalb, aber kaum zwischen den Schulen. In Österreich jedoch war das Gegenteil zu spüren.

In der öffentlichen Rezeption in Deutschland und Österreich wurde Finnland allgemein als »Testsieger« angesehen. Zahlreiche Erklärungen für das exzellente Abschneiden Finnlands wurden vorgeschlagen (siehe auch: Bildungssystem Finnland):

• Eine in der Reformation verwurzelte Lesetradition.
• Hohe Motivation, lesen zu lernen, durch Filme in Originalsprache mit Untertiteln in Fernsehen und Kino.
• Gemeinschaftsgefühl in einem kleinen Land: jeder einzelne ist wichtig.
• Vergleichsweise geringe soziale Unterschiede in der Bevölkerung.
• So gut wie keine Einwanderung.
• Ein ungegliedertes Gesamtschulsystem.
• Hervorragende personelle Ausstattung der Schulen u.a. mit Sozialpädagogen; wo erforderlich, kommt eine zweite Lehrkraft in den Unterricht.
• Klassenstärken von in der Regel weniger als 20 Schülern.
• Hervorragende materielle Ausstattung der Schulen: freundliche Gebäude, Bibliothek, Kantine.
• Weitgehende Autonomie der Schulen verbunden mit wirkungsvoller Qualitätskontrolle. Statt detaillierte Lehrpläne vorzuschreiben, beschränkt sich die finnische Bildungsbürokratie darauf, Lernziele vorzugeben und landesweite Tests zu erarbeiten, mit denen überprüft wird, wie gut die Ziele erreicht wurden.
• Vertrautheit mit standardisierten Tests.

Die Begeisterung für Finnland rief auch kritische Stimmen auf den Plan, die darauf hinwiesen, dass Alkoholismus unter finnischen Schülern weitverbreitet und die Suizidquote alarmierend hoch sei.

Befürworter der Gesamtschule nutzten die PISA-Ergebnisse für eine Neuauflage der deutschen und österreichischen Schulstrukturdebatte. Sie verwiesen insbesondere auf:

• Das hervorragende Abschneiden Finnlands und einiger anderer Staaten.
• Die überdurchschnittliche Abhängigkeit der deutschen Testergebnisse von sozialem und Migrations-Hintergrund.
• Die starke Korrelation zwischen Wahl des Schultyps und familiärem Hintergrund.

Gegner wenden ein, dass die PISA-Ergebnisse keineswegs eindeutig sind:

• Auch »Testverlierer« haben Gesamtschulsysteme.
• Im innerdeutschen Vergleich schneiden Länder, die wie Bayern konsequent an einem gegliederten Schulsystem mit harten Aufnahmebedingungen für höhere Schulen festhalten, am besten ab.
• Die Verhältnisse in Deutschland und Finnland sind aus einer ganzen Reihe von Gründen nicht vergleichbar; es ist völlig spekulativ, den finnischen Erfolg primär der Schulstruktur zuzuschreiben.

Als unmittelbare Reaktion auf den PISA-Schock beschlossen die deutschen Kultusminister die Entwicklung bundesweiter »Bildungsstandards« und die Gründung des Instituts zur Qualitätsentwicklung im Bildungswesen, das diese Standards in Form von Testaufgaben operationalisieren soll.

Es war politisch von Anfang an beabsichtigt, dass PISA auf die Schulwirklichkeit zurückwirken solle. Beteiligte Mathematikdidaktiker hofften beispielsweise, ihre Vorstellung von sinnvollem Unterricht durchzusetzen.

Konkret spürbar ist der Einfluss der PISA-Beispielaufgaben zum Beispiel, wenn in neuen Mathematiklehrplänen verstärktes Gewicht auf das Arbeiten mit Graphiken und Tabellen gelegt wird.

ausführliche Darstellung im Artikel Kritik der PISA-Studien; dort auch Quellenangaben.

Die PISA-Studien haben nicht nur ein außergewöhnliches Medienecho, sondern auch heftige wissenschaftliche Debatten ausgelöst. Aufgrund der Komplexität des Gegenstands ist die Kritik ein interdisziplinäres Unterfangen, an dem sich sowohl Pädagogen als auch Psychologen und andere Wissenschaftler mit statistischer Fachkunde (Mathematiker, Physiker, Ökonomen) beteiligen. Je nach Provenienz haben sie ihre Anmerkungen an weit gestreuten, zum Teil entlegenen Stellen veröffentlicht. Erst mit einiger Verzögerung erscheinen erste Sammelbände, die die bisher verstreute Kritik bündeln (Jahnke/Meyerhöfer 2006).

Das utilitaristische Bildungsziel von PISA wird insbesondere von frankophonen Autoren kritisiert: es bewirke zunächst einmal eine Verzerrung der Testergebnisse zugunsten angelsächsischer Staaten und sodann einen Druck, Lehrpläne in Richtung auf unmittelbar alltagsrelevante Fertigkeiten anzupassen. Das bedrohe zum Beispiel die Spezifizität des französischen Mathematikunterrichts, der großen Wert auf strenge Beweise legt. In diesem Zusammenhang wird auf die ökonomische Zielsetzung der OECD und auf die Intransparenz und mangelnde demokratische Legitimität der Entscheidungsprozesse in PISA hingewiesen. Ein ähnlicher Einwand lautet, dass PISA mit seinen Schwerpunkten Mathematik, Muttersprache, Naturwissenschaften die Marginalisierung gesellschaftswissenschaftlicher und musischer Fächer forciert. Jahnke kritisiert den Grundgedanken, Bildung »standardisieren« zu wollen (vgl. Bildungsstandards) und deutet PISA auch als Markterschließung der Testindustrie.

Im Anschluss an die Testungen 2000 und 2003 wurde jeweils nur ein kleiner Teil der eingesetzten Aufgaben (der »Instrumente« in der Sprache der Psychologie) veröffentlicht. Eine Vielzahl von Autoren hat diese Aufgabenbeispiele kritisiert, besonders gründlich der Mathematikdidaktiker Meyerhöfer. In einer didaktischen Analyse mit Methoden der objektiven Hermeneutik zeigt er, dass PISA dem Anspruch, eine spezielle „Mathematische Literalität" zu testen, nicht gerecht wird.

Das seit den allerersten vergleichenden Schulstudien ungelöste Übersetzungsproblem bewirkt auf verschiedenen Wegen eine Verzerrung der internationalen Vergleiche:

• Herkunft der Aufgaben (überwiegend aus dem angelsächsischen Bereich und den Niederlanden).
• Unterschiedliche Lesbarkeit verschiedener Sprachen (die reine Textlänge variiert schon um 10% oder mehr).
• Texte werden beim Übersetzen tendenziell länger.
• Wenn Übersetzer die Aufgabe verstehen, neigen sie dazu, Hilfen zu geben (Freudenthal 1975).
• Wenn Übersetzer nicht alle Fußangeln erkennen, kann die Aufgabe erheblich schwerer geraten.

Ein weiteres Problem ist die unterschiedliche Vertrautheit mit dem Aufgabenformat. Meyerhöfer spricht hier von »Testfähigkeit«; in den USA wird schon lange über die Bedeutung von »testwiseness« diskutiert. Wuttke (2006) hat entdeckt, dass bis zu 10% der deutschsprachigen Schüler das Multiple Choice-Format nicht verstehen und mehr als eine Antwortalternative ankreuzen.

Bei der Auswertung von PISA und ähnlichen Studien stellt sich das Grundproblem, dass Leistungsunterschiede innerhalb eines jeden Staats wesentlich größer sind als typische Unterschiede zwischen Staaten. Es ist deshalb eine Messgenauigkeit im unteren Prozentbereich erforderlich, um statistisch signifikante Aussagen über solche Unterschiede treffen zu können. In PISA wird das formal durch die Verwendung sehr großer Stichproben (ca. 5000 Schüler / Staat) erreicht. Die offiziellen Standardfehler berücksichtigen jedoch nicht mögliche systematische Verzerrungen (Wuttke 2006). Solche Verzerrungen werden unter anderem bewirkt durch:

• Unzuverlässige Ausgangsdaten (es gibt keine Urlisten mit allen Fünfzehnjährigen; die Stichprobenziehung ist extrem kompliziert und nicht überprüfbar).
• Leistungsabhängige Teilnahmeneigung.
• Uneinheitlicher Ausschluss von lernbehinderten Schülern.
• Einige Staaten, darunter Finnland, haben Legastheniker vom Test ausgeschlossen.

Aus systemanalytischer Sicht wird kritisiert, dass das offiziell deklarierte erkenntnisorientierte Ziel, durch zyklische Wiederholung die »leistungsmäßigen Ergebnisse von Schulsystemen« mitzuverfolgen, von vorneherein illusorisch sei: die Testergebnisse hängen von einer Vielzahl verschiedenster Einflüsse ab, so dass ein Rückschluss auf die eine Eingangsgröße »Schulsystem« in der Regel ein ökologischer Trugschluss ist. Beispielsweise schmilzt der Vorsprung Finnlands dahin, wenn man nur die eine zusätzliche Eingangsgröße »Migrantenanteil« herausrechnet.

Das von PISA postulierte Bildungsziel »literacy« führt zu einer Verwischung der Grenze zwischen den einzelnen Testgebieten. Die Ergebnisse sind hochkorreliert. Deshalb argumentieren Lehrl, Rindermann und Weiss, dass man PISA in guter Näherung als einen Intelligenztest deuten kann.

• Methodik der PISA-Studien
• Auswertung der PISA-Studien: Einfluss des sozialen Hintergrunds
• Kritik der PISA-Studien

Verwandte Themen:

• DESI-Studie
• IGLU/PIRLS-Studie

• Bibliographie Online-Literatur zur PISA-Studie

International:

• PISA-Homepage der OECD
• OECD (1999): Measuring Student Knowledge and Skills. A New Framework for Assessment. Paris: OECD.
• OECD (2001): Knowledge and Skills for Life. First Results from the OECD Programme for International Student Assessment (PISA) 2000. Paris: OECD.
• OECD (2003a): The PISA 2003 Assessment Framework. Mathematics, Reading, Science and Problem Solving Knowledge and Skills. Paris: OECD.
• OECD (2004a): Learning for Tomorrow's World. First Results from PISA 2003. Paris: OECD.
• OECD (2004b): Problem Solving for Tomorrow's World. First Measures of Cross-Curricular Competencies from PISA 2003. Paris: OECD.
• OECD (2005): PISA 2003 Technical Report. Paris: OECD.

Deutschland (siehe auch PISA-E und PISA-International-Plus):

• [1] Deutschland 2000 (Max-Planck-Institut für Bildungsforschung, Berlin)
• [2] Deutschland 2003, 2006 (IPN, Kiel)
• Baumert, J. et al. [Deutsches PISA--Konsortium] (2001): PISA 2000. Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich. Opladen: Leske + Budrich.
• Prenzel, M. et al. [PISA--Konsortium Deutschland] (Hrsg.) (2004a): PISA 2003. Ergebnisse des zweiten internationalen Vergleichs. Zusammenfassung. Kiel: Leibniz-Institut für die Pädagogik der Naturwissenschaften. http://pisa.ipn.uni-kiel.de/Ergebnisse_PISA_2003.pdf [Kurzfassung].
• Prenzel, M. et al. [PISA--Konsortium Deutschland] (Hrsg.) (2004b): PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland --- Ergebnisse des zweiten internationalen Vergleichs. Münster: Waxmann.

Österreich:

Schweiz:

• Pisa Website des Bundesamtes für Statistik der Schweizerischen Eidgenossenschaft

Südtirol:

• Pisa in Südtirol

• Rost, Detlef H.: Interpretation und Bewertung pädagogisch-psychologischer Studien. Beltz 2005.

• Brügelmann, Hans/ Heymann, Hans Werner (2002): PISA – Befunde, Deutungen, Folgerungen. In: Pädagogik, 54. Jg., H. 3, 40-43.
• Kraus, Josef: Der PISA Schwindel. Unsere Kinder sind besser als ihr Ruf. Wie Eltern und Schule Potentiale fördern können, Signum Verlag, Wien 2005, ISBN 3-85436-376-1
• Ladenthin, Volker: PISA - Recht und Grenzen einer globalen empirischen Studie. Eine bildungstheoretische Betrachtung. In: Vierteljahrsschrift für wissenschaftliche Pädagogik 79 (2003) H.3. S.354-375
• Jahnke, Thomas und Meyerhöfer, Wolfram (Hrsg.): PISA & Co --- Kritik eines Programms. Franzbecker, Hildesheim (2006). ISBN 978-388120-428-6.

• Brügelmann, Hans : Schule verstehen und gestalten. Libelle-Verlag: CH-Lengwil, Kap. 42-50.
• Huisken, Freerk : Der „PISA-Schock" und seine Bewältigung-Wieviel Dummheit braucht / verträgt die Republik? VSA-Verlag Hamburg 2005 ISBN 3-89965-160-X
• Videodossier des Schweizer Fernsehens zum Thema Pisa-Studie in der Schweiz

• Reaktionen auf PISA - Interkulturelles Lernen an Schulen
• PISA in Finnland
• Finnland & PISA-Studie

1. ↑ Internationale Grundkonzeption laut deutschem Projektpartner

Abgerufen von „https://de.wikipedia.org/w/index.php?title=PISA-Studien&oldid=37865629"

Kategorien:

• 2000
• Pädagogische Psychologie
• PISA- und OECD-Bildungsstudien

Versteckte Kategorie:

• Wikipedia:Defekter Dateilink