Bislang werden Sprachkurse im OECD-Raum selten wissenschaftlich evaluiert. Dies ist insofern etwas überraschend, als der Großteil der öffentlichen Integrationsausgaben auf die staatlich finanzierte Sprachförderung entfällt. In Anbetracht dieser bedeutenden Investitionen sollten die Länder ein ureigenes Interesse daran haben, sicherzustellen, dass ihre Methoden, Schulungen und Prüfmechanismen nützlich sind, die beabsichtigten Ergebnisse effektiv erreichen und kontinuierlich aktualisiert und verbessert werden. Besonders wichtig ist die Qualität der Sprachkurse dort, wo Teilnahmepflicht besteht oder wo Sanktionen drohen, wenn ein bestimmtes Sprachniveau nicht erreicht wird. Wenn Migrant*innen wegen der Sprachkursteilnahme vom Arbeitsmarkt fernbleiben müssen, muss sichergestellt sein, dass sie daraus langfristig maximalen Nutzen ziehen. Rigorose Evaluierungen des Effekts von Sprachkursen auf die Arbeitsmarktintegration sind auch ein notwendiger Schritt, um Defizite zu identifizieren und die Wirksamkeit der bestehenden Sprachkursoptionen zu erhöhen. Werden dabei nicht nur die Ergebnisse analysiert, sondern auch untersucht, „warum“ bestimmte Kurse besonders effizient sind und „wie“ dies erreicht wird, können die zuständigen Stellen bedarfsgerechte Verbesserungen vornehmen. Dadurch kann die Rendite aus diesen Investitionen erheblich gesteigert werden, da die an den Kursen teilnehmenden Migrant*innen dann einen höheren Beitrag zur Wirtschaft des Landes leisten können. Eine solche Analyse kann wertvolle Erkenntnisse in Bezug darauf liefern, mit welchen Maßnahmen die Teilnahme schwer erreichbarer Bevölkerungsgruppen, wie Frauen und ältere Menschen, erhöht und die Kursabbrecherquote reduziert werden kann.
Sprachförderung für erwachsene Zugewanderte
12. Den Effekt von Sprachkursen evaluieren, um die Ergebnisse zu verbessern
HINTERGRUND
ZIELGRUPPEN
Evaluierungen des Effekts von Sprachkursen auf den Erwerb der Sprache des Aufnahmelandes und die Arbeitsmarktintegration der Teilnehmenden helfen den mit der Organisation und Finanzierung von Sprachkursen beauftragten Stellen bei der Auswahl der Kursanbieter, der Methoden und der Anreize für Anbieter und Teilnehmende. Nachweisliche Auswirkungen auf die Arbeitsmarktintegration können zudem die Motivation der Migrant*innen, im Aufnahmeland einen Sprachkurs zu besuchen, wesentlich steigern (vgl. Empfehlung 2). Im Fall von Sprachkursen, die von der öffentlichen Hand finanziert werden, sollten systematische Evaluierungen darüber hinaus als eine Verpflichtung gegenüber den Steuerzahlern verstanden werden. Evaluierungen sind eine notwendige Voraussetzung für ein effektives ergebnisorientiertes Management und können den zuständigen Stellen helfen, Überschneidungen und Reibungsverluste zu vermeiden.
UMSETZUNG
Dank Evaluierungen wissen die Länder, ob die Migrant*innen die Sprache des Aufnahmelandes lernen und ob höhere Sprachkompetenzen den Zugang zum Arbeitsmarkt tatsächlich erleichtern. Im Idealfall umfassen Sprachkurse systematisch ein von vornherein eingebautes Evaluierungselement. Kursplaner*innen können so überprüfen, ob ihre Annahmen zu den verschiedenen Kursetappen valide sind. Dazu muss die für die Kursfinanzierung verantwortliche Instanz unabhängige, externe Experten, die die richtigen Fragen zu stellen wissen, mit der Konzipierung von Erhebungsbögen beauftragen. In diesen Prozess sollten alle relevanten Akteure – die Finanzierungsinstanzen (nationale oder lokale Behörden), die Durchführungsinstanzen (Sprachschulen) und die Kursteilnehmenden (Migrant*innen) – einbezogen werden.
Für eine effektive Beurteilung bedarf es eines Vergleichsmaßstabs. Informationen über das Wissensprofil und etwaige Selektionsverzerrungen (z. B. aufgrund des Wunschs der Lernenden, berufsbezogene Kurse zu belegen, um rasch eine Beschäftigung aufzunehmen) können vor Beginn des Sprachkurses in Einstufungstests erhoben werden. Damit die Migrant*innen Kursen zugewiesen werden können, die ihrem Niveau entsprechen, sollten diese Einstufungstests auf einheitlichen Standards basieren. Im Idealfall wird dabei auch die Lernkapazität evaluiert, z. B. anhand des Bildungshintergrunds oder Tests der strukturellen Wahrnehmung und des logischen Denkens (z. B. Finland’s Testipiste; Tammelin-Laine et al. [2018]). Darüber hinaus sollten während des Projekts in regelmäßigen Abständen Zwischenevaluierungen erfolgen, um die mittelfristigen Effekte zu messen. Eine solche Analyse der Fortschritte entlang der Ergebniskette ermöglicht den Beurteilungsinstanzen zu verstehen, welche Faktoren und institutionellen Rahmenbedingungen (wie Kursgröße, Kursdauer, Möglichkeiten der Kinderbetreuung, Einsatz virtueller Klassenzimmer) den Erfolg erhöhen, in welchem Ausmaß und für welche Gruppen.
Bei der Messung des Effekts von Sprachkursen ist zu beachten, dass Migrant*innen – und insbesondere Neuzuwander*innen – ihre Kenntnisse in der Sprache des Aufnahmelandes auch ohne formelles Lernangebot verbessern. Zudem sind Sprachkurse, vor allem wenn sie sich über einen langen Zeitraum erstrecken, für die Migrant*innen auch ein Kostenfaktor, da sie in der Zeit, in der sie die Sprachkurse besuchen, nicht nach Arbeit suchen können. Um den Effekt von Sprachkursen messen zu können, bedarf es daher einer geeigneten Vergleichsgruppe, die keine Kurse belegt hat. Dies ist aber häufig schwierig, insbesondere im Fall bestimmter Migrantenkategorien, in denen erwartet wird, dass alle an den Kursen teilnehmen. Die Autoselektion der Teilnehmenden ist ein weiteres Element, das bei einer sinnvollen Evaluierung berücksichtigt werden muss.
Wichtig ist ferner, je nach Projektziel die richtigen Benchmarks zu entwickeln. Das Sprachniveau (das sich anhand erfolgreicher Prüfungsergebnisse messen lässt) ist zwar ein geeignetes Kriterium für die Evaluierung von Kursen, dürfte aber wenig aussagekräftig sein, was die Wirksamkeit der Kurse im Hinblick auf die Arbeitsmarktintegration betrifft. Die Beurteilungsinstanzen sollten sich die Frage stellen, an welchen anderen Parametern als den Prüfungsergebnissen der Erfolg eines Sprachkurses gemessen werden kann. Dabei sollten insbesondere die Arbeitsmarktbedingungen und die Berufsorientierung der Kurse sowie das Profil der Lernenden berücksichtigt werden. Die vom Lernenden erzielten Fortschritte sind möglicherweise wichtiger als das Gesamtergebnis. Um zu prüfen, ob Kursteilnehmer effektiv lernen, bedarf es u. U. multipler Methoden, darunter Erhebungen über den Zufriedenheitsgrad, Selbsteinschätzungen, Abschlusszertifikate und Portfolios. Für die Evaluierung der Kursqualität könnte es auch erforderlich sein, das Leistungsangebot und die Zulassung von Kursträgern zu überprüfen.
Besteht das Ziel darin, die Arbeitsmarktergebnisse zu verbessern, stellen sich weitere wichtige Fragen: Werden die Migrant*innen für sich selbst sorgen, d. h. auf Sozial- und Arbeitslosenhilfeleistungen verzichten können? Werden sie in der Lage sein, einen höher qualifizierten Arbeitsplatz anzunehmen, insbesondere auf lange Sicht? In diesem Kontext ist es interessant zu beurteilen, ob sich berufsorientierte Kurse im Vergleich zu allgemeinsprachlichen Kursen mit gleichem Zielniveau als erfolgreicher erweisen oder nicht. So dies möglich ist, können Befragungen der Migrant*innen nach Kursabschluss, um Informationen über ihre Arbeitsmarktergebnisse zu bekommen, längerfristige Evaluierungen der Rentabilität der Kurse erleichtern, u. a. in Bezug darauf, ob der Kursbesuch die Migrant*innen nicht nur befähigt, eine Beschäftigung zu finden, sondern auch, in einem Beschäftigungsverhältnis zu bleiben.
Bislang haben nur wenige OECD-Länder Evaluierungsmodule in ihre Sprachkurse integriert. Sachgerechte Folgenabschätzungen sind teuer und setzen voraus, dass ein Teil des Budgets hierfür reserviert wird. Ungenügendes Datenmaterial ist häufig ein weiteres Hindernis, insbesondere in Ländern mit strengen Datenschutzauflagen. Hier kann die Sammlung von biografischen Informationen untersagt sein, die die Lernergebnisse beeinflussen könnten. Unzureichende Teilnehmerzahlen in Kursen, die in kleinerem Rahmen angeboten werden, stellen ebenfalls eine Herausforderung dar. Rigorose Evaluierungen setzen voraus, dass eine geeignete Kontrollgruppe gewählt wird, um vor, während und nach der Kursteilnahme Ergebnisvergleiche vorzunehmen (in der Regel Teilnehmerquoten und Prüfungsergebnisse). Zeitlich befristete Evaluierungszeiträume und die kurze Dauer einzelner Sprachkurse erschweren die Evaluierung langfristiger Erfolge. Wenn sich vor Kursbeginn keine angemessene Kontrollgruppe ermitteln lässt, stellt der Vergleich der Ergebnisse unterschiedlicher Kohorten von Migrant*innen eine Alternative dar. Diese Möglichkeit wird häufig genutzt, um die Auswirkungen von Einführungskursen zu beurteilen (Liebig und Huddleston, 2014). Gute Beurteilungsmethoden sind fast ausnahmslos „gemischte Methoden“, die mittels qualitativer Daten einen Kontext für Konzipierung und Interpretation schaffen.
Australien, Deutschland, Frankreich, Kanada und das Vereinigte Königreich zählen zu den OECD-Ländern, die ihre Sprachkurse soliden wissenschaftlichen Evaluierungen unterzogen haben. Kanada verlangt beispielsweise regelmäßig Evaluierungen, in denen Bedeutung, Management und Wirkung seines Settlement Program untersucht werden (vgl. z. B. Immigration, Refugees and Citizenship Canada, 2017). Australien („AMEP Longitudinal Survey“, vgl. Yates et al., 2015), Frankreich („ELIPA“, vgl. Le Quentrec-Creven, 2013) und Deutschland („Das Integrationspanel“, vgl. Schuller et al. 2011; „Evaluation der Integrationskurse (EvIk)“, vgl. Tissot et al., 2019) haben Langzeitstudien in Auftrag gegeben, wobei sie in einigen Fällen Kursteilnehmende und Nichtkursteilnehmende gegenübergestellt haben. Das „Equality Impact Assessment“ im Vereinigten Königreich befasste sich mit der Frage des Zugangs zu Englischkursen für Nichtmuttersprachler*innen sowie der Auswirkungen des Kursbesuchs für Männer und Frauen, verschiedene Altersgruppen, verschiedene ethnische Gruppen sowie vulnerable Gruppen (Department of Business, Innovation, and Skills, 2011). Das Augenmerk sollte sich aber nicht nur auf den Nutzen der Programme richten, sondern auch auf deren Konzipierung und Organisation. Zu diesem Zweck haben die nordischen Länder entschieden, die Effizienz neuer Integrationsinstrumente vor der Umsetzung im Rahmen von Pilotprojekten zu testen. Das Schwedische Bonussystem für erfolgreiche Sprachkursteilnehmer*innen wurde beispielsweise im Rahmen eines randomisierten Experiments getestet und nicht umgesetzt, nachdem die Ergebnisse veranschaulicht hatten, dass es nur in städtischen Ballungsräumen Wirkung zeigte (Aslund und Engdahl, 2012).
Eine rigorose Evaluierung kann tiefgreifende Auswirkungen auf politische Entscheidungen haben, wenn es darum geht, zu bestimmen, wie viel Sprachförderung notwendig ist, wie viel Flexibilität einzuführen ist und wie sich staatlich zu fördernde Sprachkursangebote ermitteln und verbessern lassen. Aus einer jüngst für die estnische Regierung durchgeführten Evaluierung geht beispielsweise hervor, dass ein großer ungedeckter Bedarf an Sprachförderung besteht. Die Evaluierung enthielt spezifische Empfehlungen hinsichtlich der Finanzierung, damit mehr qualifizierte Lehrkräfte eingestellt werden können, um dieser Nachfrage gerecht zu werden (Centar, 2018). Die Evaluierungsbeauftragten sprachen sich für einen Ausbau des Angebots flexibler Optionen aus. Sie hatten Arbeitslosenversicherungs- und Steuerdaten analysiert, um zwei von der estnische Regierung angebotene Kursoptionen zu untersuchen und die Ergebnisse unter Verwendung einer Matching-Methode mit denen einer Kontrollgruppe zu vergleichen, die sich gegen den Kursbesuch entschieden hatte. Sie kamen zu dem Ergebnis, dass der am Markt eingekaufte kürzere „Training Card“-Kurs mit einem kürzeren Lock-in-Effekt und einer geringeren Abbruchquote (13 % gegenüber 25 %) einherging als die längeren von der Arbeitslosenversicherung angebotenen Kurse. Migrant*innen, die einen Sprachkurs besucht hatten, fanden – ganz gleich um welchen der beiden Kurstypen es sich handelte – schneller eine Beschäftigung als solche, die das nicht getan hatten. Sie fanden aber nicht unbedingt eine besser bezahlte Stelle (Kivi et al., 2020).
Ein weiterer Vorteil einer Evaluierung besteht darin, dass sie Aufschluss darüber gibt, welche Kurse nicht funktionieren, bevor bedeutende Investitionen getätigt werden. 2017 rief Kanadas IRCC eine Service Delivery Improvement Initiative ins Leben, in deren Rahmen sie nahezu 150 Mio. CAD über 5 Jahre und mehr als 35 Mio. CAD fortlaufend investierte, um innovative Projekte zur Effizienzsteigerung zu testen, die einem evidenzbasierten Monitoring über einen Lebenszyklus von 1-3 Jahren unterzogen wurden.1 Ziel war nicht nur herauszufinden, was funktioniert, sondern auch, was nicht funktioniert und warum. In einigen Fällen führen die Evaluierungsergebnisse dazu, dass das eine oder andere Programm nicht weitergeführt wird. In Dänemark wurde beispielsweise die Entscheidung, die Sozialleistungen für Flüchtlinge zu kürzen und ihnen parallel dazu gleich nach ihrer Ankunft ein breiteres und besseres Angebot an Sprachkursen anzubieten, zurückgenommen, als deutlich wurde, dass die Leistungskürzungen keine positiven Arbeitsmarkteffekte hatten. Die Studie kam zu dem Ergebnis, dass sich eine höhere Kursstundenzahl und bessere Kursqualität, insbesondere durch eine Fokussierung auf die Lehrerausbildung, trotz eines bedeutenden Lock-in-Effekts auf lange Sicht auszahlt (Arendt et al., 2020).2
Anmerkungen
← 1. Im Rahmen der Service Delivery Improvement Initiative Kanadas wurden bislang mehr als 100 Projekte finanziert. Ein zweites Auswahlverfahren wurde im Herbst 2020 gestartet. Es zielt auf die Unterstützung von Neuzugewanderten und der für sie bestimmten Dienste bei der Anpassung an die Corona-Pandemie und der Erholung von ihren Folgen ab. Die im Rahmen dieses zweiten Auswahlverfahrens finanzierten Projekte beginnen im Herbst 2021.
← 2. Eine jüngst in Frankreich durchgeführte Studie, die auf einer randomisierten Zuweisung zu Sprachkursen bei Nichterreichen einer bestimmten Testpunktzahl basierte, kam zu dem Ergebnis, dass 100 Kursstunden zwei Jahre nach Abschluss mit einer um 15-27 Prozentpunkte höheren Erwerbsbeteiligung der Teilnehmenden assoziiert waren (Lochmann et al., 2019) In Finnland kam eine ähnliche Studie hinsichtlich der Entscheidung, individuelle Integrationspläne aufzustellen, zu dem Ergebnis, dass den Migrant*innen dann mehr Sprachunterricht angeboten wurde und sich ihre Beschäftigungsergebnisse merklich verbesserten (Sarvimäki und Hämäläinen, 2016).