29 maja 2009

Rozumieć wyniki

Medialne komentarze dotyczące tegorocznych wyników dotyczących sprawdzianu kończącego szkołę podstawową bardzo dobrze pokazują, jak trudno takie wyniki zrozumieć.

Jeśli po zapoznaniu się z pytaniami egzaminacyjnymi pojawiają się komentarze, że w tym roku pytania są łatwe lub trudne, trzeba pamiętać, że to zawsze subiektywne oceny kilku uczniów, nauczycieli, dziennikarzy czy ekspertów, którym akurat tematy podobają się mniej lub bardziej. Tymczasem dopiero na podstawie analizy rozkładu wyników widać jakość zestawu pytań.

Na sprawdzianie kończącym szkołę podstawową uczeń może rokrocznie uzyskać 40 punktów. Rok temu średnio uczniowie uzyskiwali około 25 punktów, w tym roku średni wynik jest bliski 23. Jak zareagowałyby media gdyby wyniósł 27? Albo 37? Czy zestaw pytań trywialnych, na które odpowiedziałby każdy uczeń pokazałby, że polska szkoła podstawowa świetnie uczy? Czy raczej zestaw pytań powinien różnicować, wskazywać, w których szkołach praca idzie trudniej, pokazywać co jest do zrobienia?

Dopiero twarde dane o wynikach pokazują, jakie naprawdę pytania okazały się dla uczniów i właściwe dopiero wówczas powinny pojawiać się komentarze dotyczące zadań. Z wykresu rozkładu wyników widać, że więcej uczniów napisało prace ocenione blisko oceny maksymalnej, niż prace ocenione na oceny bliskie zera. Z komunikatu CKE dowiadujemy się, że pomimo tego, że średni wynik jest niższy, najsłabsza szkoła ma średni wynik wyższy niż najsłabsza szkoła przed rokiem. Najlepsza szkoła jest dalej od maksimum niż najlepsza szkoła przed rokiem. To dość dobry rozkład – nawet najsłabsi zbierają jakieś punkty, ale najlepsze wyniki dostać stosunkowo trudno. Czyli zestaw zadań zróżnicował i uczniów, i szkoły. Dał szkołom i nauczycielom wiedzę o tym, z czym poradzili sobie gorzej, a z czym lepiej.

Warto podawać wyniki egzaminacyjne także w skalach tak zwanych porównywalnych i różnicujących. Aby bez względu na rok egzaminu, na etap edukacyjny czy przedmiot, oceny mówiły nam, gdzie na tle wszystkich innych znajduje się uczeń i szkoła. Tego rodzaju skalą jest skala staninowa. Tabele zamieszczone na stronie CKE dają szkole możliwość stwierdzenia w jakim staninie plasuje się średni wynik szkoły. Wynik 25 w tym roku to wynik wysoki (na 7), rok temu był on średni (na 5). Szkoła powinna popatrzeć, czy ma wynik na tym samym poziomie co w zeszłym roku, czy może on spadł lub urósł. Trzeba to zrobić właśnie patrząc na staniny, a nie na wyniki bezwzględne. Jeśli szkoła rok temu uzyskała wynik wysoki – np. średnio 28 punktów, a w tym roku ma średnio 25 punktów, może śmiało mówić, że ma wynik na tym samym poziomie (czyli na 7 w 9-przedziałowej skali staninowej). Skala 9-przedziałowa daje ważne informacje dla szkół. Zastosowanie takiej skali wobec uczniów zamiast punktów na maturze zlikwidowałoby problem obecnego braku porównywalności wyników z różnych lat czy z różnych przedmiotów (zawsze któryś zestaw pytań okazuje się trudniejszy a któryś łatwiejszy). Jednak informacja rekrutacyjna, którą ma dawać wynik gimnazjalny czy maturalny, musi być bardziej rozdzielcza niż 9-punktowa. Istnieją inne skale i można również na nie przeliczać obecne oceny maturalne czy gimnazjalne. Aby wynik w takiego rodzaju skali znalazły się na uczniowskich świadectwach, trzeba zmienić prawo. Myślę, że warto starać się prawo w tym kierunku zmieniać, ale przedtem poprawiać także poziom edukacji matematycznej naszego społeczeństwa, aby fakt przeliczenia bezwzględnego wyniku egzaminacyjnego na inną skalę nie stanowił czegoś nadmiernie trudnego czy zagadkowego ani dla ucznia, ani dla jego rodzica czy nauczyciela, ani dla świata mediów.

Nowy ustawowy obowiązek (art. 5a. ust. 4 ustawy o systemie oświaty) sporządzania przez władze samorządowe rokrocznej informacji o stanie realizacji zadań oświatowych, zawierającej między innymi analizę wyników egzaminacyjnych, daje konieczność zmierzenia się z zadaniem zrozumienia lokalnych wyników i wyciągnięcia z nich wniosków. Jak w tym samorządowcom pomóc to z kolei zadanie dla dyrektora CKE. Po koniec sierpnia CKE ma przedstawić rezultaty pogłębionej analizy wszystkich egzaminów zewnętrznych. Czy samorządy znajdą w niej coś dla siebie?