Gemini jako korepetytor: badanie Google DeepMind pokazuje roczny skok w nauce matematyki w osiem tygodni

Google DeepMind opublikował wyniki randomizowanego badania kontrolowanego, w którym setki uczniów w Sierra Leone korzystały z trybu Guided Learning w Gemini jako korepetytora z matematyki. Efekt okazał się większy, niż firma się spodziewała, choć badacze sami zastrzegają, że wyniki trzeba czytać z ostrożnością.

• 1763 uczniów w 12 szkołach dystryktu Port Loko w Sierra Leone wzięło udział w ośmiotygodniowym badaniu
• Grupa korzystająca z Guided Learning uzyskała +0,258 odchylenia standardowego wyniku z matematyki względem grupy kontrolnej
• To odpowiada w przybliżeniu 1,2 do 1,7 roku typowego postępu w nauce w krajach o niskich i średnich dochodach
• Przeanalizowano ponad 113 000 interakcji uczniów z AI, 69 proc. uczniów osiągnęło zalecany próg 12 godzin korzystania
• Partnerami badania byli Fab AI, ministerstwo edukacji Sierra Leone, Google.org, Gates Foundation, EducAid, Laterite i Oxford MeasurEd

Guided Learning to nie zwykły chatbot udzielający gotowych odpowiedzi. Google przebudował Gemini tak, by w rozmowie z uczniem zadawał pytania naprowadzające zamiast od razu podawać rozwiązanie. W praktyce model odpowiadał pytaniem pomocniczym w 76 procentach wiadomości, a bezpośrednie rozwiązanie podawał zaledwie w 2 procentach przypadków.

Jak działa Guided Learning

Analiza rozmów pokazała, że uczniowie coraz rzadziej szukali gotowej odpowiedzi, a coraz częściej próbowali zrozumieć zagadnienie. Odsetek pytań nastawionych na budowanie umiejętności wzrósł z 68 procent w pierwszym tygodniu do 90 procent w ostatnim, podczas gdy pytania typu "podaj mi wynik" spadły z 25 do 10 procent.

Nauczyciele w badanych szkołach dostali tylko jeden dzień szkolenia z narzędzia, mimo to część z nich przyznała, że sama uczyła się od AI nowych sposobów tłumaczenia znanych tematów, na przykład ułamków. Wielu opisywało zmianę własnej roli z wykładowcy na osobę towarzyszącą uczniom w procesie nauki, spędzając więcej czasu na rozmowach jeden na jeden.

Głos władz Sierra Leone

Musimy być innowacyjni i poprawiać jakość usług, ale musimy też rzetelnie badać efekty naszych innowacji. Cieszę się więc, że mamy teraz mocne dowody na to, że dobrze zaprojektowana AI może poprawić wyniki nauczania, wspierając naszych pracowitych nauczycieli - Conrad Sackey, minister edukacji podstawowej i średniej Sierra Leone

Dla Sierra Leone, kraju z ograniczoną liczbą wykwalifikowanych nauczycieli matematyki, wynik ma znaczenie praktyczne, nie tylko naukowe. Ministerstwo edukacji zaangażowało się w projekt jako współautor badania, nie tylko jego odbiorca, co ma świadczyć o rosnącym zaufaniu lokalnych władz do narzędzi AI w edukacji.

Zastrzeżenia badaczy

Google DeepMind przyznaje, że badanie ma ograniczenia. Najwięcej zyskali uczniowie, którzy już wcześniej radzili sobie lepiej z matematyką, podczas gdy słabsi uczniowie odnotowali mniejszy postęp. Autorzy badania mówią wprost, że oszacowanie "roku dodatkowej nauki" trzeba traktować z przymrużeniem oka, bo przekładanie odchylenia standardowego na lata edukacji to uproszczenie.

Zespół zapowiedział już rozmowy z organizacjami specjalizującymi się w poprawie wyników nauczania uczniów słabszych, bo dotychczasowy model pedagogiczny mógł nie być dla nich optymalny. Metodologia, przewodnik dla nauczycieli i playbook badawczy zostały upublicznione, by inne zespoły mogły powtórzyć eksperyment w innych krajach.

Znaczenie dla polskich szkół

W Polsce dyskusja o AI w edukacji koncentruje się głównie na wykrywaniu prac pisanych przez chatboty, rzadziej na wykorzystaniu AI jako korepetytora wspierającego naukę. Wynik z Sierra Leone pokazuje inny kierunek: model zaprojektowany tak, by naprowadzał, a nie podawał gotowce, może dać mierzalny efekt nawet przy minimalnym przeszkoleniu nauczycieli i krótkim czasie wdrożenia.

Dla polskich szkół, zwłaszcza mniejszych i wiejskich, gdzie brakuje nauczycieli matematyki, model testowany w Sierra Leone mógłby być punktem odniesienia, choć konteksty edukacyjne obu krajów różnią się istotnie pod względem zasobów i dostępu do internetu. Upublicznienie metodologii przez Google ułatwia jednak ewentualne testy podobnych narzędzi przez polskie samorządy czy organizacje edukacyjne.

Źródła: Measuring the impact of learning with AI in Sierra Leone and beyond (deepmind.google), Google Tested Its AI Tutor In Real Classrooms. It Worked (forbes.com), Measuring the impact of AI on teaching and learning (blog.google)