Tegoroczna matura* powoli dobiega końca, a ja się
zastanawiam czy i w tym roku CKE opublikuje w raporcie końcowym
kompromitujące ją rozkłady wyników z poszczególnych przedmiotów tak jak
to robiła dotychczas. Cóż takiego jest w tych wykresach rozkładu
wyników, że aż tak mocnego słowa w stosunku do, skądinąd zawsze przeze
mnie chwalonej instytucji, używam? Otóż spieszę z wyjaśnieniem o co mi
chodzi. Każdy kto choć w niewielkim stopniu miał do czynienia z
podstawami statystyki a w szczególności z najprostszymi opisami zdarzeń w
postaci statystyk opisowych wie, że rozkład wyników ze zdarzeń w miarę
losowych a przeprowadzonych na stosunkowo licznej grupie badanych będzie
rozkładem normalnym. Normalny rozkład wyników/zdarzeń przedstawiany w
formie wykresu zwanego histogramem wygląda jak przekrój dzwonu czyli po
angielsku bell-shaped. Oznacza to, że wyników ekstremalnych
(najwyższych i najniższych) w takim rozkładzie jest najmniej, a wyników
typowych (średnich) najwięcej. Opisują to odpowiednie statystyki.
Normalny rozkład charakteryzuje się również tym, że rozkład wyników
pomiędzy wynikami ekstremalnymi a średnimi po obu stronach jest
równomierny bez większych i dramatycznych skoków od 'linii normalności'.
Przykład prawie 'idealnie' normalnego rozkładu zamieszczam poniżej.
Histogram
ten pokazuje rozkład wyników z egzaminu maturalnego z języka polskiego
na poziomie rozszerzonym z roku 2011 ze strony 23 sprawozdania CKE. Z
danych umieszczonych poniżej histogramu dowiadujemy się, że maturę z j.
pol. na poziomie rozszerzonym zdawało w całej Polsce 36155 abiturientów.
Wyniki w całej populacji zdających rozłożyły się prawie, że idealnie
normalnie. Występują co prawda pojedyncze skoki w wynikach na prawym
zboczu krzywej ale ogólna tendencja wyrażana teoretyczną linią
normalnego rozkładu jest zachowana. I tego można się było spodziewać bo
im większa liczba pomiarów (badanych) tym bardziej rozkład tych zbliżać
się będzie do rozkładu normalnego. Oczywiście nie jest tak zawsze a
zależy to od natury przedmiotu, obiektu, czy cechy której pomiaru
dokonujemy. Przechodzę teraz do rzeczy. Otóż, jeżeli ten rozkład powyżej
porównamy z tym który utworzyły wyniki abiturientów z tego samego roku i
przedmiotu ale z poziomu podstawowego to obraz nam się całkowicie
zmienia.
Okazuje
się, że lewe zbocze krzywej (w stronę wyników
słabszych) nagle zostaje w którymś miejscu rozdarte przez gwałtowny
wzrost wyników. Pozostała część wyników najsłabszych tworzy przy tym coś
jakby odrębny wykres, oddzielny od tego wcześniejszego. Co to może
oznaczać i jak interpretować ten histogram o tym za chwilę. Zobaczmy czy
taka oczywista 'abnormalność' rozkładu jest przypadkiem jednostkowym,
jakąś cechą idiosynkratyczną, która ujawniła się na maturze podstawowej z
języka polskiego w 2011 roku, czy też może pojawia się w rozkładach
wyników z innych przedmiotów, poziomów a może i w innych latach? Lektura
sprawozdania CKE z osiągnięć maturzystów z 2012 roku
(http://www.cke.edu.pl/pl/73-informacja-o-wynikach.html) pokazuje
podobnie histogramy dla poziomu podstawowego dla j. polskiego (str. 18),
wiedzy o społeczeństwie (str. 39), biologii na str. 79, geografii na
str. 115, języka angielskiego na str. 157 i tak dalej. Wszystkie te
wykresy rozkładu wyników z tych przedmiotów ujawniają niepokojącą i
intrygującą 'nienormalność' po lewej stronie krzywej, w postaci nagłego
wzrostu ilości abiturientów osiągających dany poziom punktowy osiągnięć z
egzaminu, po czym, dla następnych dwu czy trzech mniejszych wartości
punktowych ilość abiturientów dramatycznie spada, nierzadko do poziomu
minimalnego. Widać to wyraźnie na histogramach w sprawozdaniach CKE.
Dostrzec tu można pewną regularność. A mianowicie 'nienormalności', o
której tu mowa, jeżeli występują to w przeważającej mierze w
przedmiotach na poziomie podstawowym. Co oznaczają te 'abnormalne'
przebiegi i jak interpretować te histogramy? Pomocnym nam będzie
odpowiedź na pytanie czy miejsce tego 'wahnięcia' na krzywej przebiegu
jest przypadkowe czy może również podlega jakiejś regularności?
Zajrzyjmy w tym celu ponownie do sprawozdania CKE na jej stronie
internetowej, ale tym razem z 2010 roku. Na stronie 15 znajduje się
histogram pokazujący rozkład wyników dla języka polskiego na poziomie
podstawowym. Jest on prawie, że identyczny z histogramami z 2011 i 2012
roku. 'Wahnięcie' nasze występuje w okolicach 21 z 70 punktów możliwych
do zdobycia z całości egzaminu. Dlaczego akurat aż tylu zdających
uzyskało tu 21, 22 i 23 punkty 'wbrew' niejako oczekiwanej krzywej,
która przewidywała na tym odcinku spadek? Odpowiedź jest prosta. 21
punktów to 30% z 70 punktów potrzebnych by zdać egzamin. Jak to się
stało, że aż tylu zdających 'odeszło' od normalnej tendencji, którą
przewiduje statystyka dla tak dużych prób? Otóż, nie odeszli oni wcale a
wcale od przewidywanej krzywej lecz ich wyniki ZOSTAŁY 'NACIĄGNIĘTE'
przez sprawdzających i tym samym podwyższone do 'magicznej' liczby 30
procent. A wszystko po to by abiturienci ci nie psuli statystyk
zdawalności matury. Te same manipulacje na etapie poprawiania prac miały
miejsce w wszystkich przedmiotach i poziomach, w których histogram
pokazuje odejście od normalnego, oczekiwanego przebiegu krzywej.
Zobaczmy czy można w przybliżeniu oszacować jakiej ilości abiturientów
CKE rękoma egzaminatorów poprawiających prace pomogła zdać maturę z
języka polskiego i z języka angielskiego na poziomie podstawowym w
ubiegłych latach. W tym celu trzeba na histogramie oszacować na ile
procent odstają 'słupki' histogramu z danego roku, dodać je do siebie i
oszacować ile to jest osób znając ogólną liczbę zdających przedmiot. I
tak, dla języka polskiego z 2010 'abnormalność' wykresu widoczna jest
wyraźnie dla czterech wartości punktów: 21, 22, 23 i 24. Te 'słupki'
najbardziej odstają od teoretycznej krzywej. Odmierzając teraz na 'oko'
długość tych odstających ponad przewidywaną linię krzywej słupków
otrzymamy z grubsza: 1% dla 21; 0,7% dla 22, 0,3% dla 23 i 0,1% dla 24
punktów. Razem daje to 2,1% abiturientów, którym naciągnięto wyniki. W
skali kraju daje to około 7.737 abiturientów, którzy de facto nie zdali
matury z języka polskiego na poziomie podstawowym bo nie uzyskali
wymaganego (śmiesznego zresztą) minimum 30% punktów, ale którym komisje
poprawiające prace pomogły 'doskrobać' te kilka brakujących punktów. W
przypadku języka angielskiego sytuacja jest mniej dramatyczna ale
dotyczy też dużej liczby, bo około 1.232 abiturientów, których
'wyciągnięto' spod kreski 30%.
Jak
widać, praktyka 'podciągania' wyników abiturientów, którzy uzyskali
mniej o 1, 2 lub nawet 3 punkty niż wymagane 30% jest powszechnie
stosowana przez CKE. Egzaminatorzy są nierzadko zmuszani do
'doszukiwania' się tych brakujących kliku punktów w pracach abiturientów
i robią to pod presją przewodniczących komisji, a ci z kolei, pod
presją wytycznych z CKE. A że tak jest wiem, bo sam jestem szeregowym
egzaminatorem i poprawiałem prace maturalne (przeważnie na poziomie
podstawowym).
W kontekście powyższego chciałbym zauważyć, co
następuje. Po pierwsze, praktyka doszukiwania się w pracach, które są na
granicy zdawalności, dodatkowych punktów jest powszechna. Sam doświadczałem tego,
że podczas poprawiania prac z języka angielskiego na poziomie podstawowym,
weryfikatorzy bądź kierownicy zespołów, zgodnie z zaleceniami ‘z góry’, na siłę
doszukiwali się punktów w pracach na granicy zdawalności. W przeważającej
części przypadków decyzje te były błędne i nie oparte na żadnych merytorycznych
kryteriach poprawności językowej. Nigdy nie zgadzałem się z taką praktyką i
uważałem ją za szkodliwą dla idei obiektywnego pomiaru. Odczucia moje były
udziałem wszystkich egzaminatorów z zespołu, w którym pracowałem. Opinie
podobne słyszałem od egzaminatorów z innych zespołów, którzy jednoznacznie źle
oceniali tę praktykę. Po drugie, praktyka ta podważa podstawowe zasady na
jakich zbudowano egzamin maturalny jako zewnętrzną, obiektywną i rzetelną formę
oceny wyników nauczania w szkołach średnich. Podważa ona zaufanie do egzaminu
maturalnego jako bezstronnego narzędzia oceny nie ulegającego naciskom
koniunkturalnych trendów, czy ulegającą naciskowi opinii publicznej. Po
trzecie, a przy założeniu, że powodem tej praktyki jest chęć uniknięcia
zwiększenia liczby kandydatów niezdających matury, praktyka ta czyni z
Centralnej Komisji Egzaminacyjnej ‘organ’ polityczny, a nie obiektywny i
niezależny od nikogo i niczego probierz efektów kształcenia na poziomie
szkolnictwa średniego.
* Tekst pisany 15 maja 2015 roku.
(Do napisania tego postu skłonił mnie komentarz internauty pod pseudonimem 'eudialit', który znalazłem tu: http://www.wykop.pl/ramka/797645/wyniki-matury-sprzeczne-z-zasada-prawdopodobienstwa/)
Brak komentarzy:
Prześlij komentarz