Autor: RoGaj

Jak to mogłoby działać? To, czyli takie bieżące raportowanie i prezentowanie danych liczbowych. Wyobraźmy sobie, że aktualizacja danych następuje co tydzień. My to nasz tygodniowy „wsad” punktowy a MyS to narastające suma zdobytych punktów. Oni to dorobek naszych konkurentów, a OniS to ich narastająca suma punktów. Średniej chyba nie trzeba tłumaczyć, różnica to informacja, ile jesteśmy pod średnią. Wystarczy kliknąć na przycisk i…

To czwarte zaczyn być fundamentalne. Po co jest ta cała ewaluacja i kategoryzacja? Po co ten cały mechanizm zamulający skutecznie setki ludzi? Kiedyś Pan Profesor Tadeusiewicz pięknie skwitował przygotowywanie przez wszystkie uczelnie kart przedmiotów zgodnych z KRK czyli Krajowymi Ramami Kwalifikacji. Odpowiedź jest bardzo prosta. Ewaluacja służy do nadania jednostkom naukowo badawczym w tym uczelniom kategorii: A+, A, B lub C. Te kategorie służą następnie do „podziału kasy” czyli przydziału funduszy na tak zwane badania statutowe. Czy to jest duża kasa? Nie zdradzam chyba żadnej strasznej tajemnicy alkowy stwierdzając, że w przypadku naszego wydziału to niecałe 10% dotacji dydaktycznej czyli tej na działalność podstawową. Dotacja statutowa jest generalnie przyznawana „na twarz” pracownika. Kategorie zaś dają mnożniki. Nie che mi się grzebać po sieci. A+ to bodaj 1.5, A to 1, B to 0.75 a C to 0.5.
Po ustaleniu, że w tym wszystkim jak zwykle chodzi o pieniądze pozostaje problem jak to robić. W poprzednich wpisach sugerowałem, żeby to był proces ciągły a nie akcja prowadzona co cztery lata. Teraz pozostaje problem przyjęcia modelu obliczeniowego. Czy ma być on ciągły czy dyskretny? Uczę Studentów od lat tak zwanych metod obliczeniowych więc czuję się kompetentny aby zabrać głos w tej sprawie. Budowane przez nas modele matematyczne dla różnych problemów fizycznych mają charakter ciągły. Nie zawsze możemy uzyskać rozwiązanie analityczne w postaci funkcji. Wtedy sięgamy po rozwiązania dyskretne.
Mam świadomość, że nie uniknie się sytuacji, gdy do sukcesu brakuje bardzo niewiele, na przykład 1 punkt na 40 do upragnionego zaliczenia. Takich sytuacji nie da się niestety uniknąć. Nie jest to jednak ten przypadek. W przypadku ewaluacji i podziału pieniędzy można śmiało zbudować model ciągły. To czwarte jak będzie to decyzja polityczna mająca jednak głęboki kontekst merytoryczny. W grupie A są przecież jednostki o znacznie się różniącym dorobku. Dlaczego mają dostać tyle samo? I ta najlepsza w grupie A i ta najgorsza. Bo tak chyba jest dzisiaj. Dlatego też sądzę, że należy odejść od kategoryzacji a przy podziale pieniędzy korzystać z modelu ciągłego.
Jak będzie? Mogę sobie wyobrazić sytuację, w której jednostki w sposób ciągły raportują swoje osiągnięcia w ramach grupy wspólnej oceny. Nie upieram się, aby znać dokładnie osiągnięcia „konkurencji”. Wystarczy aby poza wiedzą o własnym dorobku znana była suma osiągnięć. Średnią można łatwo policzyć… Może być jeszcze mediana. Dzięki temu będzie osiągnięta pełna przejrzystość procesu oceny i podziału pieniędzy.

Pierwsze dwa punkty były raczej oczywiste i bezdyskusyjne. Po trzecie na pewno wzbudzi kontrowersje. To trzecie to skale i wagi. Podobno mają zniknąć listy czasopism. Będzie jedna w której czasopisma będą miały punkt w skali 0-100. Tu zaczyna się jazda… Jakie będą kryteria przyznawania tych punktów? W jakiej skali czasu będą one stałe? Czyli jak często będzie zmieniana ta punktacja? A może punkty będą zmienne w czasie zależnie na przykład od IF czyli Impact Factor. Skala liczby punktów przydzielanych czasopismom jest powiedzmy do ogarnięcia jakimiś formułami i wzorami. Ale jak na tej skali umieścić monografie? I oczywiście wybitne monografie? Tu wchodzimy lekko w świat współczynników wagowych.
Ćwiczymy to na co dzień oceniając Studentów. Najpierw punkty przydzielane do zadań ze sprawdzianów. To jest jeszcze proste, jak w przypadku czasopism. Ale jak „zważyć” sprawdzian i pracę domową? Idąc dalej jakie wagi przyczepić przy ustalaniu oceny łącznej? Wiem, wiem – wsadzam kij w mrowisko! Wróćmy więc na grunt ocen jednostek naukowych.
W obecnej wersji rozporządzenia do każdej z kategorii ocen „podczepione” są dosyć arbitralne wagi. Pamiętam sytuację sprzed bodaj ośmiu lat, gdy znakomitą ocenę otrzymała jednostka badawczo rozwojowa w zasadzie nie publikująca a mająca olbrzymie zlecenia z tak zwanego przemysłu. Już na etapie jednorodnych w przynajmniej w teorii publikacji można stwierdzić, że publikacja publikacji nie jest równa, nawet jeśli dają tyle samo punktów. Można „od tyłu” policzyć ile złotych jest wart punkt z publikacji w czasopiśmie.
Tu na pewno nie będzie sprawiedliwie. Ważne więc, żeby było uczciwie.

Po drugie wierzę, że system oceny będzie kontynualny, ciągły, permanentny. Można sobie wyobrazić system, w którym Studenci coś tam robią przez cztery lata a na koniec zbiera się komisja i ustala komu dyplom, komu paletko. Podobnie jest w skali semestru dla poszczególnych przedmiotów. Studenci zbierają punkty, zaliczają projekty, kolokwia. Każdy plus minus wie jakie ma szanse na zaliczenie i jaka będzie ocena. To normalne i naturalne! Dlaczego tak nie może być w przypadku ocen jednostek naukowych? Sądzę po rozwoju systemów informatycznych idą właśnie w tym kierunku. Ciągła sprawozdawczość zastąpi ankiety składane raz na cztery lata. Z technicznego punktu widzenia jest to możliwe. Przecież każdą publikację, ekspertyzę, grant można wpisać do bazy na bieżąco. Przecież te informacje już są ale różnych miejscach. Dlaczego nie umieszczać ich w systemie ocen w sposób ciągły?
Nigdy nie byłem zwolennikiem wyścigu szczurów. Ale tak zwana zdrowa konkurencja to chyba zjawisko pozytywne. O czym myślę? Czy te informacje nie powinny być znane i jawne dla wszystkich? Przecież każdy może wykonując kwerendę w sieci wygrzebać dane o publikacjach i grantach dowolnej osoby! To jest tylko kwestia czasu. Dyskusyjna być może jest kwestia jawności strony finansowej ekspertyz. Jak to się mówi jest to być może tajemnica handlowa. Ale granty badawcze i projekty? Tu powinna być pełna jawność. Jakie są tego efekty? Każda jednostka na bieżąco będzie mogła w przybliżeniu ocenić swoją pozycję w rankingu. Liderzy będą czuli oddech tych, co za nimi. Goniący kategorię A będą wiedzieli ile jeszcze musieli zdobyć punktów.
A zresztą… Być może przy kontynualnym systemie oceny kategoryzacja w tradycyjnej wersji będzie zbyteczna?