Czym jest efekt egzaminatora i jak można go wyznaczyć?

Aleksander Janik, 12 Lipiec 16 Dodaj komentarz Wyślij Drukuj

Była to prawdą, ale tylko w przypadku zadań zamkniętych, które są nie tylko zadaniami niezbyt trudnymi, ale i bardzo łatwymi do odgadnięcia - wystarczy  we właściwym kwadraciku  postawić wymagany znaczek.

Nie było to i nie jest prawdą w przypadku wysoko punktowanych zadań otwartych, chociaż Ministerstwo Edukacji Narodowej zapewniało, że kryteria oceniania są „jednolite” i poczyniono cały szereg działań zabezpieczających, które sprawiają, że ocenianie zadań otwartych jest praktycznie bezbłędne (weryfikatorzy etc.). Ministerstwo twierdziło również, że „prowadzone przez Instytut Badań Edukacyjnych badania i analizy wskazują na wysoki poziom zgodności punktowania przez egzaminatorów.” (pismo MEN dnia 23 grudnia 2015 r.)

Każdy uczeń poddający się egzaminowi posiada określoną wędzę, która powinna zostać wyceniona przez egzaminatorów według z góry określonego systemu oceniania. W polskim systemie egzaminacyjnym „efekty egzaminatorów” są zatem niczym innym, jak tylko błędami w ocenianiu wiedzy uczniów przez różnych egzaminatorów zewnętrznych. Trzeba jeszcze raz przypomnieć, że miały być one równe zeru.

Egzaminatorzy zewnętrzni są w istocie rzeczy wykonawcami decyzji, które od nich nie zależą. Aby zbadać jakość egzaminowania uczniów – bo to oni ponoszą wszystkie konsekwencje pozornie doskonałego, a w istocie rzeczy nierzetelnego egzaminowania – należy przebadać jakość punktowania prac uczniów nie tylko przez egzaminatorów zewnętrznych, ale i przez nadzorcze poziomy całej zbiurokratyzowanej i egzaminacyjnej piramidy.

Arkusze egzaminacyjne uczniów z losowo wybranych klas powinny być oceniona według tych samych „jednolitych kryteriów” ustalonych przez Centralną Komisję Egzaminacyjną przez losowo wybranych egzaminatorów po co najmniej pięć osób z następujących kategorii:
 

1. autorzy raportu IBE pt. „Efekt egzaminatora w ocenianiu prac maturalnych z języka polskiego i matematyki. Opis założeń i rekomendacje” (egzaminatorzy tej kategorii powinni uczestniczyć w badaniu sprawdzającym w pełnym składzie i na takich samych warunkach jak i pozostali egzaminatorzy),
2. pracownicy Ministerstwa Edukacji Narodowej nadzorujący jakość kształcenia oraz egzaminowania uczniów,
3. przewodniczący oraz zastępcy przewodniczących Centralnej oraz Okręgowych Komisji Egzaminacyjne,
4. eksperci, którzy na zlecenie CKE przygotowywali zadania maturalne i/lub określali zasady ich punktowania,
5. specjaliści, którzy szkolili lub egzaminowali kandydatów na egzaminatorów zewnętrznych,
6. weryfikatorzy sprawdzający poprawność punktowania prac egzaminacyjnych przez egzaminatorów zewnętrznych,
7. kuratorzy oświatowi,
8. doradcy dydaktyczni pracujący w Centrach Doskonalenia Nauczycieli,
9. dyrektorzy gimnazjów oraz liceów,
10. egzaminatorzy zewnętrzni.
11. nauczyciele ze stażem nauczycielskim większym niż trzy lata, którzy nie posiadają uprawnień ani egzaminatora zewnętrznego, ani weryfikatora,
12. nauczyciele ze stażem nauczycielskim nie większym niż jeden rok.

W badaniu tym zadania zamknięte można pominąć. Nazwiska egzaminatorów z każdej w/w kategorii powinny być zakodowane i nie powinny zostać ujawnione.

Co uzyskamy z przeprowadzenia takiego badania sprawdzającego?
 

1. Każdej zadanie otwarte z języka Polskiego i matematyki zostanie oceniona przez około 60 egzaminatorów i – chociaż uczniowie powinni otrzymać za każde zadanie taką sama liczbę punktów od wszystkich egzaminatorów – to najprawdopodobniej uzyskają różne oceny punktowe. Średnia z tych ocen będzie najbardziej bliską prawdy oceną punktową za określone zadanie zamknięte. To samo dotyczy sumarycznej liczby punktów za wszystkie zadania otwarte.
2. Średnia oraz standardowe odchylenia ocen wystawionych przez  egzaminatorów z każdej kategorii pozwoli określić jakość ich egzaminowania, jak również różnice między tymi kategoriami.
3. Na podstawie standardowych odchyleń będzie można określić wielkość efektu egzaminatora każdego z egzaminatorów 
4. Będzie się można więc przekonać, czy specjaliści, którzy szkolili lub egzaminowali kandydatów na egzaminatorów zewnętrznych (kategoria 5), rzeczywiście lepiej oceniają od szkolonych i egzaminowanych przez nich egzaminatorów zewnętrznych (kategoria 10).

Gdyby się okazało się, że nauczyciele z jednorocznym stażem pracy oceniają tak samo dobrze, jak przeszkoleni egzaminatorzy zewnętrzni, weryfikatorzy oraz członkowie CKE i OKE, to trzeba byłoby przemyśleć funkcjonowanie całej piramidy nadzorco-egzaminacyjnej.

Błędów w ocenianiu uczniów nigdy nie będzie można całkowicie wyeliminować, co miał zapewniać uczniom przyjęty w Polsce system egzaminatorów zewnętrznych. Błędy ujawnione nie są szkodliwe, natomiast błędy ukrywane pod grubym dywanem z pustosłowia są nie tylko szkodliwe, ale i niebezpieczne dla całego systemu edukacji.

Efekt egzaminatora (błąd oceniania) w istocie rzeczy składa się z dwóch składników: z omawianego powyżej efektu wtórnego oraz z efektu pierwotnego. Efekt pierwotny zależy od trafnego wyboru zadań egzaminacyjnych, od ich sformułowania oraz od właściwego określenia zasad ich punktowania.

Jeżeli w kolejnych latach egzaminowani uczniowie mają bardzo duże braki z matematyki, z języka polskiego lub z geografii, to może - chociaż niekoniecznie świadczy o tym - że w jednym roku zaniedbują matematykę, w następnym język polski, a w trzecim geografię.

W tym kontekście zadziwia język angielski, który według wyników egzaminów nie sprawia polskim uczniom większych kłopotów. Czy taka sytuacja jest wynikiem pracy uczniów i nauczycieli języka angielskiego, czy też umiejętności generowania takich wyników egzaminów, jakie CKE chce uzyskać.

Nie potrzeba wcale, aby każde zadanie ucznia oceniało sześćdziesięciu egzaminatorów! Wystarczy  jeden egzaminator egzaminujący w rzetelnym systemie egzaminowania.
 

O autorze:
		Aleksander Janik Straciłem ponad dwadzieścia pięć lat życia na tłumaczenie tego, co ludzie rozumni i odpowiedzialni, a szczególnie politycy, cały szeroko rozumiany nadzór pedagogiczny, nauczyciele oraz rodzice powinni byli zrozumieć – jak mi się wydawało – w ciągu jednego, dwóch kwartałów, a co najwyżej w ciągu jednego roku. Chodzi o stworzenie systemu edukacji dostosowującego się do potrzeb i możliwości uczniów, a nie tylko do zmiennych i niejednoznacznych wymagań nadzoru pedagogicznego, nauczycieli, a nawet rodziców.
Tekst pierwotnie ukazał się na blogu: http://aleksander-janik.blog.onet.pl