Forschungsmethoden in der Fremdsprachendidaktik

3 StichprobengrößeStichprobengröße

Um eine möglichst hohe Repräsentativität für die Aussagekraft der Ergebnisse einer Studie zu erzielen, ist neben der Genauigkeit, mit der eine Stichprobe die Grundgesamtheit abbildet, und dem Grad an Zufälligkeit, mit der die Elemente der Grundgesamtheit in die Stichprobe gewählt werden, auch die Größe der Stichprobe von Bedeutung. Prinzipiell lassen sich statistische Kennzahlen mit jedem ‚irgendwie‘ erhobenen Datensatz jeglicher Größe berechnen – jedoch lassen sich weder die Qualität der Ergebnisse noch die Aussagekraft der Studie nachvollziehen. Wird ein quantitativ-empirisches Forschungsdesign mit auf die Grundgesamtheit schließenden inferenzstatistischen Verfahren angestrebt, lässt sich a priori der Umfang für die probabilistisch zu erhebende Stichprobe berechnen. Dabei wird ein möglichst optimaler Stichprobenumfang angestrebt, denn zu kleine Stichproben verringern die TeststärkeTeststärke und zu große Stichproben erhöhen den Erhebungsaufwand unnötig. „Stichprobenumfänge sind optimal, wenn sie einem Signifikanztest genügend Teststärke geben, um einen getesteten Effekt bei vorgegebener Effektgröße entdecken und auf einem vorgegebenen Signifikanzniveau absichern zu können“ (Bortz/Döring 2006: 736). Statistisch gesehen hängen Teststärke, EffektgrößeEffektgröße, α-Fehlerniveau und Stichprobenumfang voneinander ab. Dies bedeutet, dass sich die Stichprobengröße berechnen lässt, wenn man Teststärke, Effektgröße und α-Fehlerniveau festlegt. Diese Berechnung ist auch abhängig vom gewählten statistischen Verfahren, das auf die Daten angewendet werden soll. Das α-Fehlerniveau wird oftmals auf 5 % oder 1 % festgelegt und die Teststärke auf 80 %. Die Effektgröße hingegen ist stark abhängig vom Forschungszusammenhang und dem Studiendesign. Sie wird oft in kleinere, mittlere und größere Effekte unterteilt (s. hierzu Grum 2019). Der optimale Stichprobenumfang lässt sich für spezifische statistische Tests beispielsweise mit der Software G*Power berechnen oder in Tabellen nachschlagen (vgl. z.B. Cohen/Manion/Morrison 2018: 212–13; Döring/Bortz 2016: 842–849).

Zusammenfassend lässt sich für die Planung eines quantitativen Samplings folgender Ablaufplan erstellen: Zuerst wird entschieden, ob es nötig ist, eine Stichprobe zu ziehen oder ob eine Vollerhebung durchgeführt werden kann. Danach wird die Population in ihrer Größe und ihren erhebungsrelevanten Merkmalen definiert. Anschließend erfolgt die Festlegung auf eine für die Studie passende Sampling-Strategie. Zum Schluss wird überprüft, ob Zugang zur Stichprobe besteht (gatekeepersgatekeepers) oder ggf. die Sampling-Strategie geändert werden muss.

4.3.3 Sampling in der qualitativen Forschung

Da qualitative Forschungen nicht statistische Repräsentativität der Ergebnisse anstreben, spielt die Frage auch keine Rolle, ob die für die Datenerhebung gewählte Stichprobe für die Gesamtheit einer Population repräsentativ ist. Bei qualitativen Studien werden Auswahlentscheidungen deshalb nicht von probabilistischen, sondern eher von inhaltlichen Gesichtspunkten gesteuert; sie sind eng mit dem Forschungsprozess verbunden und stellen sich auf drei Ebenen, nämlich (1) der Ebene der Datenerhebung, (2) der Ebene der Datenauswertung und schließlich (3) der Präsentation der Ergebnisse (vgl. Flick 2016: 155). Damit das jeweilige Forschungsvorhaben intersubjektiv nachvollziehbar ist, muss das Sampling transparent und damit nachvollziehbar sein. Im Folgenden sollen solche Auswahlentscheidungen unter Berücksichtigung ausgewählter Forschungsarbeiten aus den Fremdsprachendidaktiken skizziert werden.

1 Vorabentscheidungen und Festlegung des Samples für die Datenerhebung

Die Festlegung der Stichprobe wird zunächst durch die Forschungsfrage und die theoretischen Vorüberlegungen des Forschers/der Forscherin bestimmt; sie leiten eine von Kriterien bestimmte, gezielte Auswahl. Die Entscheidung ist demnach theorie- und kriteriengeleitet: purposive samplingpurposive sampling und criterion samplingcriterion sampling (Silverman 2000: 104–5). Als Beispiel für solche begründeten (Vorab-)Entscheidungen diene die Referenzarbeit von Ehrenreich (2004), in der die Forscherin die Bedeutung des Auslandsaufenthalts für die Fremdsprachenlehrerbildung unter besonderer Berücksichtigung des Assistant-Jahres mit Hilfe einer Interviewstudie untersucht. Theoretische Vorüberlegungen im Zusammenhang der Aufarbeitung der Fachliteratur bilden die Basis für eine Kriterienmatrix mit entsprechenden Parametern, die die Forscherin bei der tatsächlichen Informantenauswahl leiteten. Auswahlkriterien sind u.a.: Geschlecht, Herkunftsbundesland, Zielland und Ausbildungsphase zum Zeitpunkt der Interviews. Unter Berücksichtigung dieser Matrix konstituiert Ehrenreich im Schneeballverfahren (s. Kap. 5.2.1) die Stichprobe ihrer Studie, eine Gruppe von 22 Informanten, die zum einen als typisch markierte Fälle gemäß der Kriterien enthält, zum anderen eine maximale Variation der Teilnehmenden innerhalb der Gesamtgruppe abbildet (Ehrenreich 2004: 158–59).

Kimes-Link (2013) untersucht „welche Aufgaben und Methoden Lehrkräfte im englischen Literaturunterricht der gymnasialen Oberstufe bei der Lektüre von Ganzschriften einsetzen und inwiefern diese geeignet sind, die Interaktion zwischen den Lernenden und dem Text sowie die Interaktion innerhalb der Lerngruppe zu intensivieren, gemeinsame Bedeutungsaushandlungen zu initiieren und vertiefte Verstehensprozesse zu begünstigen“ (Kimes-Link 2013: 85). Sie konstituiert theoriegeleitet die Stichprobe ihrer Studie aus insgesamt sieben Kursgruppen gymnasialer Oberstufen, die zum einen unterschiedliche Schul- und Kurstypen repräsentieren, zum anderen ein Spektrum unterschiedlicher literarischer Genres zum Arbeitsgegenstand haben (Dramen, Jugendromane, Romane und Kurzgeschichten).

A priori vorgenommene, kriterien- und theoriegeleitete Konstruktionen einer Stichprobe werden, wenn es um die konkrete Realisierung des Projekts geht, von drei Aspekten beeinflusst, die letzten Endes den Forschungsprozess beeinflussen und häufig für das Sampling modifizierend wirken. Die Frage, wo und wie Forschende ihre Forschungspartner gewinnen, bringt die Herausforderung auf den Begriff. Da ist zum einen der Aspekt der räumlichen und institutionellen ZugänglichkeitZugänglichkeit. So kann es sein, dass ein räumlich naher und deshalb forschungspragmatisch günstiger Kontext, der für die Bearbeitung der Forschungsfrage zudem sehr vielversprechend wäre, nicht zugänglich ist, weil die gatekeepers unüberwindliche Hürden errichten. Andererseits kann ein räumlich ferner Kontext zugänglich sein, der den Forschenden jedoch einen größeren Zeitaufwand abnötigt und damit den Forschungsprozess erheblich belastet. Damit ist auch der zweite Aspekt angesprochen, nämlich die MachbarkeitMachbarkeit des Projekts. Gerade für Qualifikationsarbeiten, die in der Regel von Individuen und nicht von Forschergruppen geleistet werden und mit oft sehr begrenzten Zeitbudgets auskommen müssen, ist die Frage, was unter den konkreten Bedingungen leistbar ist, von Bedeutung. Machbarkeitsüberlegungen werden deshalb in das Sampling eingehen müssen. Die Kombination von Machbarkeits- und Zugänglichkeitsüberlegungen kann zu einer Ad-hoc-Stichprobe führen, die weniger kriterien- und zielgeleitet, als vielmehr pragmatisch bestimmt ist: Die Forschende wendet sich Personen und Kontexten zu, die zur Verfügung stehen, wie die Untersuchung von Roters (2012: 161–63) verdeutlicht. Roters befasst sich in ihrer explorativen Studie mit dem Konstrukt der Reflexion, das in Diskursen zur Entwicklung von Lehrerprofessionalität als Schlüsselkompetenz markiert wird. Untersuchungsgegenstand sind die Beschreibung und Analyse zweier Lehrerbildungsprogramme und -kontexte einer deutschen und einer US-amerikanischen Universität. Die Auswahl der Stichprobe erfolgte zunächst theoriegeleitet und über umfangreiche Dokumentenanalysen, dann aber nach Kriterien der Zugänglichkeit und Machbarkeit, wobei nicht zuletzt formale und institutionelle Anforderungen bestimmend wirkten.

Von Relevanz für die Bestimmung der Stichprobe ist schließlich die Bereitschaft der Forschungspartner, sich auf die Belastungen des Forschungsprozesses einzulassen: etwa auf narrative Interviews (Ehrenreich 2004) oder auf Videoaufnahmen im Klassenzimmer (Kimes-Link 2013): „[…] wie kann [der Forscher , die Forscherin] erreichen, dass eine entsprechende Bereitschaft nicht nur geäußert wird, sondern zu konkreten Interviews und anderen Daten führt“ (Flick 2016: 143)?

2 Entscheidungen bei der Datenbearbeitung und Sampling-Strategien

Auch wenn zunächst entschieden ist, von welchen Personen und Gruppen Daten erhoben werde sollen, ist damit für qualitativ Forschende in der Regel das Sampling nicht abgeschlossen. Nicht nur Forschungsanfänger und -anfängerinnen stehen vor der Herausforderung, die große Datenfülle, die in qualitativen Studien anfallen kann, zu meistern. Dabei stellen sich zwei Fragen. Welche Daten sind für die Beantwortung der Forschungsfrage zielführend, „the real challenge is not to generate enough data, but to generate useful data“ (Dörnyei 2007: 125, Hervorh. im Original) und welche Daten sollen in welcher Breite und Tiefe etwa mit Hilfe von Datentriangulation (s. Kap. 4.4) bearbeitet werden. Entscheidungen sind dann häufig an den Prozess der Datenbearbeitung gebunden, aus dem sich oftmals auch eine weitere Differenzierung der Forschungsfrage(n) ergibt. Die Fälle werden damit schrittweise ausgewählt, Entscheidungskriterium ist ihre Relevanz für die Forschungsfrage und nicht ihre Repräsentativität (Flick 2011: 163). Forschenden stehen eine Reihe von Sampling-Strategien zur Verfügung, zu denen u.a. folgende gehören:1

 Sampling typischer FälleSampling typischer Fälle: Der Forscher, die Forscherin, der/die sich z.B. mit dem beruflichen Selbstverständnis von Englischlehrkräften in der Grundschule befasst, konzentriert sich auf Personen in den Daten, die in Hinblick auf die Forschungsfrage über typische Eigenschaften, Merkmale und/oder Erfahrungen verfügen (weibliche Lehrkräfte mit mehr als drei Jahren Berufserfahrung, die Englisch nicht als Muttersprache mitbringen), auf Personen also, die typisch für die Mehrzahl der untersuchten Fälle sind.

 Sampling maximaler VariationSampling maximaler Variation: Der Forscher, die Forscherin interessiert sich besonders für Fälle, die signifikante Unterschiede aufweisen, um die Bandbreite und Variabilität von Erfahrungen der untersuchten Gruppe zu erfassen und dabei mögliche Gemeinsamkeiten herauszuarbeiten.

 Sampling extremerSampling extremer Fälle oder abweichender FälleSampling abweichender Fälle: Die Strategie ähnelt der vorangegangenen. Der Forscher, die Forscherin fokussiert auf die Extremfälle, z.B. auf Lehrkräfte, die ihr berufliches Selbstverständnis besonders stark mit der Einschätzung ihrer L2-Kompetenz verknüpfen und sich Muttersprachlern/Muttersprachlerinnen besonders unterlegen fühlen. Auch hier könnte von Interesse sein, ob selbst solche Extremfälle Gemeinsamkeiten aufweisen.

 Event-SamplingEvent-Sampling: Diese Sampling-Strategie ist vorwiegend in der Videoforschung vertreten und filtert bestimmte niedrig- oder hochinferente Phänomene (wie Partnerarbeit oder mündliche Fehlerkorrekturen) aus dem Videomaterial heraus. Event-Sampling wird vom Time-Sampling abgegrenzt. Beim Time-Sampling werden Kodierungen in bestimmten Zeitabständen vorgenommen (z.B. alle 2 Minuten) (vgl. Appel/Rauin 2015).

 Sampling kritischer FälleSampling kritischer Fälle: Diese Strategie ist dem Event-Sampling ähnlich. Sie zielt auf Fälle in den Daten, die als zentral für die untersuchten Zusammenhänge gelten können. Schwab (2006), der mit Hilfe einer konversationsanalytischen Longitudinalstudie die Interaktionsstrukturen im Englischunterricht einer Hauptschulklasse untersucht, konkretisiert nach der ersten Durchsicht einer Grobtranskription der Daten die Gesprächspraktik „Schülerinitiative“ als ein kritisches Phänomen und zentrales Element von Schülerpartizipation. 81 dieser kritischen Fälle werden dann im Detail transkribiert und einer differenzierten Analyse unterzogen (Schwab 2006). Die Referenzarbeit von Schwab verdeutlicht, dass Sampling-Prozesse in qualitativen Studien in der Regel offen und iterativ sind, denn die zu untersuchenden Fälle gewinnen oftmals erst im Prozess der Datenbearbeitung an Gestalt: die Grundgesamtheit kann nicht von vorneherein genau bestimmt werden, sondern konstituiert sich durch einen Prozess der sukzessiven Differenzierung bereits gewonnener Erkenntnisse und die daraus folgende, erneute Interpretation der Daten, die u.U. sogar eine weitere Phase der Datengewinnung im Sinne der Forschungsfrage nahe legt. Die Auswahlentscheidungen werden durchgängig von Relevanzkriterien für die Forschungsfrage und durch die bereits formulierten Einsichten und Vermutungen und, nicht zuletzt, durch vorhandene Wissensbestände (Vorwissen, Fachwissen) geleitet.

Dieses zyklisch voranschreitende Auswahlverfahren wird als Theoretical-Samplingtheoretical sampling bezeichnet und wurde erstmals von Vertretern der empirischer Sozialforschung im Zusammenhang der Grounded TheoryGrounded Theory beschrieben (s. Kap. 5.3.3). Obwohl der Begriff ursprünglich in der Grounded Theory-Methodologie verortet ist und dort den Prozess der datengeleiteten Theoriegenerierung bezeichnet, wird das Verfahren des Theoretical-Sampling auch mit anderen Methoden qualitativer Forschung verbunden (s. Kap. 5.3.5). Alle oben genannten Sampling-Strategien können im Verfahren des Theoretical-Sampling zur Anwendung kommen.2

3 Entscheidungen für die Präsentation der Ergebnisse

Da es für qualitative Studien nicht per se die richtige Entscheidung oder Strategie gibt, sondern diese sowohl von der Fragestellung, dem Gang der Analyse und vorhandenen Wissensbeständen abhängt, zu der das jeweilige Forschungsprojekt in Beziehung steht, müssen die Entscheidungen auch im Kontext dieses Gesamtzusammenhangs gefällt und entsprechend begründet werden: „Samplingentscheidungen lassen sich nicht isoliert treffen“ (Flick 2011: 169). Das gilt natürlich auch für Entscheidungen, welche Befunde wie zu präsentieren sind. Als Beispiel diene die Referenzarbeit von Arras (2007), die Prozesse der Beurteilungsarbeit mit Hilfe eines Mehrmethodendesigns erforschte. Arras erhob qualitativ introspektive Daten (Laut-Denk-Protokolle) von vier Beurteilerinnen, die danach durch Daten aus retrospektiven Interviews ergänzt und vertieft wurden. Die Datenanalyse erbrachte eine solche Fülle von Einzelhandlungen und Strategien der Beurteilerinnen, dass für die Darstellung der Befunde eine Auswahl getroffen werden musste. Arras begründet ihre Entscheidung mit zwei Auswahlkriterien: Sie konzentriert sich einerseits gemäß ihrer zentralen Fragestellung auf jene Befunde, die „den Umgang mit dem Beurteilungsverfahren und … die Rolle … der Deskriptoren beleuchten. Zum anderen werden jene Beobachtungen referiert …, die über das Test-DaF-Beurteilungsinstrumentarium hinausweisen“ (Arras 2007: 217). Von besonderem Interesse sind nämlich „Strategien, die vermutlich auf zugrunde liegenden subjektiven Annahmen und persönlichen Erfahrungen gründen“. Befunde dieser beiden Großgruppen werden dann im Detail präsentiert.1

4.3.4 Fazit

Auch wenn es sinnvoll ist, Sampling-Verfahren nach qualitativ und quantitativ zu unterscheiden, lassen sich Forschungsvorhaben nicht immer strikt in quantitative oder qualitative Erhebungs- und Analyseverfahren unterteilen, so dass es auch Sampling-Strategien gibt, bei denen quantitative und qualitative Verfahren kombiniert werden (Mixed-Methods-SamplingMixed-Methods-Sampling). Hierzu gehören z.B. parallele, sequenzielle oder multi-level Auswahlverfahren (vgl. z.B. Kuckartz 2014; Cohen/Manion/Morrison 2018: 224–25; Teddlie/Yu 2007, s. auch Kap. 3.3 und 6.4).

Prinzipiell sollte die Sampling-Strategie immer auf Basis der Forschungsfrage gewählt werden und dem Forschungszweck dienen. Die gewählte Strategie muss transparent sein, mögliche Einschränkungen berücksichtigen und zum gewählten Design passen. Alle diese Aspekte bestimmen letztendlich auch den Grad an GeneralisierbarkeitGeneralisierbarkeit, der für die gewonnenen Ergebnisse erreicht werden kann bzw. die angestrebte Aussagekraft der Studie.

› Literatur

Forschungsarbeiten, in denen hier erläuterte Sampling-Strategien angewendet werden, sind mit einem Sternchen markiert.

Appel, Johannes/Rauin, Udo (2015). Methoden videogestützter Beobachtungsverfahren in der Lehr- und Lernforschung. In: Elsner, Daniela/Viebrock, Britta (Hg.). Triangulation in der Fremdsprachenforschung. Frankfurt/Main: Peter Lang, 59–79.

*Arras, Ulrike (2007). Wie beurteilen wir Leistung in der Fremdsprache? Strategien und Prozesse bei der Beurteilung schriftlicher Leistungen in der Fremdsprache am Beispiel der Prüfung Test Deutsch als Fremdsprache (TestDAF). Tübingen: Narr. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Biebricher, Christiane (2008). Lesen in der Fremdsprache. Eine Studie zu Effekten extensiven Lesens. Tübingen: Narr. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Benitt, Nora (2015). Becoming a (Better) Language Teacher. Classroom Action Research and Teacher Learning. Tübingen: Narr.

Bortz, Jürgen/Döring, Nicola (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4. Auflage. Berlin: Springer.

Bortz, Jürgen/Schuster, Christof (2010). Statistik für Human- und Sozialwissenschaftler. 7. Auflage. Berlin: Springer.

Cohen, Louis/Manion, Lawrence/Morrison, Keith (2018). Research Methods in Education. 8. Auflage. London: Routledge.

Döring, Nicola/Bortz, Jürgen (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 5. Auflage. Berlin: Springer.

Dörnyei, Zoltan (2007). Research Methods in Applied Linguistics. Oxford: Oxford University Press.

*Ehrenreich, Susanne (2004). Auslandsaufenthalt und Fremdsprachenlehrerbildung. Das assistant-Jahr als ausbildungsbiographische Phase. München: Langenscheidt. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

Flick, Uwe (2016). Qualitative Sozialforschung. Eine Einführung 7. Auflage. Reinbek: Rowohlt.

G*Power [http://www.gpower.hhu.de] (25.09.2015)

*Grum, Urška (2012). Mündliche Sprachkompetenzen deutschsprachiger Lerner des Englischen. Entwicklung eines Kompetenzmodells zur Leistungsheterogenität. Frankfurt/Main: Peter Lang.

Grum, Urška (2019). Effektstärken und ihre Bedeutung für die quantitative Fremdsprachenforschung: Ein Überblick. In: Falkenhagen, Charlott/Funk, Hermann/Reinfried, Marcus/Volkmann, Laurenz (Hg.). Sprachen lernen integriert – global, regional, lokal. Dokumentation zum 27. Kongress für Fremdsprachendidaktik der Deutschen Gesellschaft für Fremdsprachenforschung (DGFF). Baltmannsweiler: Schneider Verlag Hohengehren, 323–334.

*Kienberger, Martina (2020). Das Potenzial des potenziellen Wortschatzes nutzen. Erschließungsstrategien für unbekannten Wortschatz unter DaF-Lernenden an spanischen Universitäten. [Online: http://othes.univie.ac.at/62970/.] (28.08.2020)

*Kimes-Link, Ann (2013). Aufgaben, Methoden und Verstehensprozesse im englischen Literaturunterricht der gymnasialen Oberstufe. Eine qualitativ-empirische Studie. Tübingen: Narr.

Kuckhartz, Udo (2014). Mixed Methods. Methodologie, Forschungsdesigns und Analyseverfahren. Wiesbaden: Springer.

Merkens, Hans (2012). Auswahlverfahren, Sampling, Fallkonstruktion. In: Flick, Uwe/von Kardorff, Ernst/Steinke, Ines (Hg.). Qualitative Forschung. Ein Handbuch. 9. Auflage. Reinbek: Rowohlt, 286–299.

*Özkul, Senem (2011). Berufsziel Englischlehrer/in. Berufswahlmotive der Lehramtsstudierenden in Anglistik/Amerikanistik. Berlin: Langenscheidt. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Roters, Bianca (2012). Professionalisierung durch Reflexion in der Lehrerbildung. Eine empirische Studie an einer deutschen und einer US-amerikanischen Universität. Münster: Waxmann.

*Schart, Michael (2003). Projektunterricht – subjektiv betrachtet. Eine qualitative Studie mit Lehrenden für Deutsch als Fremdsprache. Hohengehren: Schneider. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

*Schwab, Götz (2009). Gesprächsanalyse und Fremdsprachenunterricht. Landau: Verlag Empirische Pädagogik. [Referenzarbeit, s. Kurzbeitrag Kapitel 7]

Silverman, David (2000). Doing Qualitative Research. A Practical Handbook. London: Sage.

*Steininger, Ivo (2014). Modellierung literarischer Kompetenz. Eine qualitative Studie im Fremdsprachenunterricht der Sekundarstufe I. Tübingen: Narr.

Teddlie, Charles/Yu, Fen (2007). Mixed Methods Sampling. A Typology with Examples. Journal of Mixed Methods Research 1/1, 77–100.

*Zibelius, Marja (2015). Cooperative Learning in Virtual Space. A Critical Look at New Ways of Teacher Education. Tübingen: Narr.

» Zur Vertiefung empfohlen

Cohen, Louis/Manion, Lawrence/Morrison, Keith ( 2018 ). Research Methods in Education [Chapter 12 . Sampling] . Hoboken: Taylor and Francis, 143 – 164 .

Das Kapitel „Sampling“ gibt einen sehr umfassenden Überblick über Samplingprozesse in quantitativer, qualitativer und Mixed-Method-Forschung.

Dörnyei, Zoltan ( 2007 ). Research Methods in Applied Linguistics. Oxford: Oxford University Press, 95 – 100 (Sampling in quantitative research); 125 – 29 (Sampling in qualitative research).

Beide Teilkapitel bieten eine knappe Einführung in Sampling-Fragen und -Prozesse für die Fremd- und Zweitsprachenforschung.