Robí si ARRA srandu z filozofických fakúlt?

Autor: Peter Sýkora | 25.4.2015 o 21:08 | (upravené 5.5.2015 o 11:35) Karma článku: 11,41 | Prečítané:  5969x

Akademická  rankingová a ratingová  agentúra (ARRA) už desať rokov  oboznamuje  verejnosť so svojím hodnotením kvality slovenských vysokých škôl, resp. ich fakúlt.  Podľa svojich vlastných slov robí každoročné hodnotenia preto, aby poskytla uchádzačom o štúdium  rebríčky kvality,  ktoré im majú pomôcť „rozhodnúť sa pre štúdium  na konkrétnej škole/fakulte.“  A taktiež, chce týmito rebríčkami „iniciovať súťaživosť medzi inštitúciami poskytujúcimi vysokoškolské vzdelávanie a tým aj pozitívne zmeny v slovenskom vysokom školstve.“  Problém je v tom, že  ARRA sa v prípade hodnotenia filozofických fakúlt  dopúšťa takých omylov,  že uchádzačov o štúdium svojimi rebríčkami kvality skôr zavádza a zo súťaživosti medzi fakultami  robí skôr frašku.  (29.4.2015 21:43 - doplnené o konkrétne údaje a výpočty - stiahni dokument v pdf)  

Na Katedre filozofie Filozofickej fakulte UCM v Trnave vediem doktorandský seminár z vedeckej metódy a kritického myslenia. Minulý semester som navrhol študentom projekt, v ktorom by sme kriticky preanalyzovali  hodnotenie publikačnej činnosti filozofických fakúlt, konkrétne výsledky,  ktoré ARRA zverejnila vo svojej správe v roku 2014.  Do projektu sa zapojili študenti  druhého ročníka systematickej filozofie D. Ivanovič, B. Urblíková a L. Gráfová.  Zistili sme, že metodológia, ktorú ARRA vytvorila a ktorú roky používa na hodnotenie publikačnej činnosti filozofických fakúlt  (ale aj fakúlt  právnických, teologických,  pedagogických a umeleckých) je nielen netransparentná, ale obsahuje viaceré principiálne metodologické chyby, ktoré vedú až k absurdným výsledkom.  Z toho dôvodu prichádzame s návrhom novej metodológie, ktorá okrem toho, že je transparentná, predovšetkým zohľadňuje  špecifiká  publikačnej kultúry  humanitných odborov na filozofických fakultách.  Výsledkom je diametrálne iný rebríček filozofických fakúlt  podľa ukazovateľa kvality ich publikačnej činnosti, než rebríček, ktorý  zostavila ARRA.

Neviem, na základe čoho sa tohtoroční záujemcovia o štúdium na vysokej škole rozhodovali, prípadne sa ešte rozhodujú, keďže termín podania prihlášok na niektoré fakulty je do konca apríla, kam chcú ísť študovať. Predstavme si tohtoročného maturanta, ktorý  má záujem študovať na  najlepšej slovenskej filozofickej fakulte niektorý z  humanitných odborov ako je napr. história, etnológia, filozofia, či cudzie jazyky.   Predpokladajme, že celkom logicky tento maturant nazrel do aktuálneho hodnotenia  vysokých škôl z dielne ARRA, aby zistil, ktorá filozofická fakulta je na Slovensku najlepšia. Podľa ARRA je odpoveď jednoznačná -  dlhodobo najlepšou  filozofickou fakultou na Slovensku je Fakulta humanitných a prírodných vied Prešovskej univerzity (FHPV PU).  V ARRA rebríčku kvality filozofických fakúlt sa FHPV PU umiestnila na prvom mieste v roku 2014, ako aj v rokoch 2012,  2010, 2008, 2006, kým v rokoch 2013,  2011,  2009 a 2007 bola hodnotená ako druhá najlepšia.  Maturantova voľba by preto mala byť jednoduchá  – prihlášku by si mal podať na FHPV PU.  

Ibaže je tu jeden „drobný“ problém – náš maturant si  nevie vybrať, ktorý humanitný smer má na tejto fakulte vlastne študovať. Pretože najlepšia filozofická fakulta na Slovensku mu ponúka možnosť študovať  tri prírodovedné odbory (biológiu,  ekológiu, geografie v regionálnom rozvoji),  jeden pedagogický odbor (vzdelávanie dospelých - andragogiku) a desiatky učiteľských študijných programov (od učiteľstva biológie a fyziky až po učiteľstvo technickej výchovy a výtvarného umenia), ale žiaden humanitný študijný program. Pred rovnakým problémom by stál aj záujemca o doktorandské štúdium v niektorom z humanitných odborov.  Najlepšia filozofická fakulta mu ponúka možnosť vybrať si z troch  prírodovedných odborov (všeobecná ekológia a ekológia jedinca a populácií, antropológia, regionálna geografia a regionálny rozvoj) a jedného pedagogického odboru (pedagogika), ale žiadneho humanitného.

Je naozaj šokujúce ako môže ARRA fakultu,  na ktorej viac ako 90% študijných programov tvoria  učiteľské kombinácie a ktorá neponúka ani jeden študijný program v oblasti humanitných alebo spoločenských vied,  zaraďovať do skupiny filozofických fakúlt a dokonca ju dávať  po všetky tie roky za vzor ostatným filozofickým fakultám. Odpoveď je jednoduchá – ide o dôsledok chybnej metodológie, ktorou ARRA hodnotí filozofické fakulty. V prípade  „hybridnej“ FHPV PU by ARRA mala hodnotiť zvlášť prírodovednú časť tejto fakulty (Katedra biológie, Katedra ekológie, Katedra fyziky, matematiky a techniky, Katedra geografie a aplikovanej geoinformatiky,  Centrum excelentnosti ekológie živočíchov a človeka) v rámci skupiny prírodovedeckých fakúlt a zvlášť pedagogicko-spoločenskú časť fakulty (Ústav pedagogiky, andragogiky a psychológie ) v rámci skupiny pedagogických fakúlt.

FHPV PU  má zo všetkých filozofických fakúlt najvyššiu hodnotu (100%) v ukazovateli  kvality vedy a výskumu, v ostatných štyroch ukazovateľoch (vzdelávanie, atraktivita štúdia, doktorandi, grantová úspešnosť) dosahuje hodnoty výrazne nižšie.  Dá sa predpokladať, že je to práve zásluhou ukazovateľa vedy a výskumu,  vďaka čomu je táto fakulta na prvom mieste. 

To by samozrejme neznamenalo nič negatívne, práve naopak.  Veda a výskum je aj v zahraničných hodnoteniach  univerzít  kľúčovým parametrom.  Problém je v tom, ako  ARRA vypočítava tento ukazovateľ.  Ide o aritmetický priemer  troch čiastkových ukazovateľov, ktoré sa týkajú vedeckých publikácií -  priemerný počet vedeckých publikácií na jedného tvorivého pracovníka fakulty, priemerný počet citácií na jedného tvorivého pracovníka fakulty a priemerný počet citácií na jednu publikáciu.  Čo sa týka publikačných výstupov filozofických fakúlt,  ARRA čerpá vstupné dáta z dvoch databáz - zo slovenského Centrálneho registra evidencie publikačnej činnosti (CREPČ) a medzinárodnej databázy Web of  Knowledge, resp. Web of Science (WoK). CREPČ je verejne prístupný a každý si tieto údaje môže skontrolovať. WoK je prístupný za poplatok, ale prostredníctvom univerzitných knižníc alebo Centra  vedecko-technických informácií SR (CVTISR)  je možné sa k tejto databáze veľmi ľahko dostať.

Centrálna databáza citácií na Slovensku zatiaľ nie je vytvorená (uvažuje sa o rozšírení databázy CREPČ aj o evidenciu citácií). ARRA čerpá údaje o citáciách v prípade humanitných vied buď z Web of Knowledge alebo z lokálnych databáz vysokých škôl. V oboch prípadoch je to metodologický problém. Po prvé, databáza Web of Knowledge sa historicky orientovala predovšetkým na  časopisecké publikácie z prírodovedných a medicínskych  odborov.  Humanitné odbory a vedecké monografie nie sú v tejto databáze zatiaľ adekvátne zastúpené. Niet preto divu, že citácie prác z humanitných odborov v prípade autorov zo Slovenska sa vyskytujú vo Web of Knowledge veľmi sporadicky, pokiaľ vôbec. Po druhé, citačné dáta z knižníc slovenských vysokých škôl sú zatiaľ nespoľahlivá. Nie je to len kvôli chýbajúcej štandardnej metodike spracovania a neúplnosti, ale aj kvôli  tzv.  „citačných bratstvám či mafiám“. Ide o fenomén, keď sa „spriatelení“ autori  navzájom citujú vo svojich vedeckých prácach len kvôli tomu, aby im narastali počty citácií, bez ohľadu na samotný obsah vedeckej práce.

Vďaka existencií celoslovenskej databázy CREPČ sú preto počty publikácií oveľa spoľahlivejším kritériom. Samozrejme, treba bodovo rozlišovať medzi rôznymi typmi publikácií (kódy kategórií publikácií sa určujú podľa vyhlášky ministertva školstva). Napríklad 3-stranový príspevok v zborníku z domácej konferencie  (kategória AFD) predsa nemôže byť hodnotený rovnako ako 300-stranová monografia v angličtine, publikovaná v renomovanom zahraničnom vydavateľstve  (kategória AAA).  Žiaľ, nie je zrejmé do akej miery a či vôbec ARRA takéto dôležité rozlíšenie vo svojom bodovaní  zohľadňuje (už spomínaná netransparentosť).  Z dostupných údajov sa dá skôr predpokladať, že nie. Jediné bodové rozlíšenie, ktoré ARRA vo svojej metodológii v správe z r. 2014 uvádza, je viac ako desaťbodové zvýhodnenie „karentov“ (ako sa na Slovensku  v akademickom slangu označujú publikácie evidované  v americkej databáze  Web of Knowledge)  oproti ostatným, „nekarentovaným“  publikáciám.   V hodnotení z roku  2014  bodové zvýhodnenie karentov bolo 11,6-násobné, v roku 2013  bolo 12,4-násobné  (ako k týmto „magickým číslam“ ARRA dospela  je záhadou). 

Jedným z cieľov spomínaného doktorandského projektu bolo zistiť, čo sa ukýva za úspechom FHPV PU, ktorá  získala za publikácie najväčší počet bodov (33,6) zo všetkých filozofických fakúlt.  Za týmto účelom doktorandi zozbierali údaje o počtoch publikácií pre všetky filozofické fakulty na Slovensku z databázy CREPČ za roky 2008-2013 (evidované k novembru 2014). Výhodou je, že databáza CREPČ eviduje všetky typy vedeckých a odborných publikácií, vrátane tých,  ktoré boli zaradené do medzinárodnej databázy Web of Knowledge (karenty). 

Ukázalo sa, že za sledované obdobie šiestich rokov  FHPV PU eviduje v CREPČ celkovo 122 publikácií najvyššie hodnotenej kategórie karentov,  avšak  až v 119 prípadoch ide o prírodovedecké publikácie.  Podobne je tomu aj v prípade  druhej atypickej filozofickej fakulty, Fakulty humanitných vied Žilinskej univerzity (ďalej FHV ŽU), ktorá bola v hodnotení ARRA na prvom mieste v r.  2013.  V prípade tejto fakulty je z 33 zaevidovaných karentov až 32 z odboru matematiky,  keďže súčasťou  tejto  filozofickej fakulty je aj katedra matematiky.

Treba povedať, že ARRA o týchto skutočnostiach dobre vie a má za to, že to vybaví  stručnou poznámkou  pod tabuľkou celkového hodnotenia: „FHPV PU a FHV ŽU sú fakulty zamerané čiastočne aj na prírodné vedy, výsledky ktorých tvoria aj značnú časť ich vedeckého výkonu“.  Teraz už vieme, čo si ARRA predstavuje pod termínmi „čiastočne“ a „značná časť“ –  v prípade FHPV PU je to  97,5%  a v prípade FHV ŽU je to 97%.  

Možno by sa dalo povedať, že univerzity, ktoré majú ambíciu mať aspoň jednu svoju fakultu na prvom či druhom mieste v hodnotení ARRA takto získavajú jednoduchý návod ako to dosiahnuť. Stačí k tomu administratívne rozhodnutie univerzity. V rámci neho sa buď  k filozofickej fakulte priradí jedna či dve katedry z oblasti prírodných vied prípadne  matematiky alebo sa k prírodovedeckej fakulte priradí aspoň jedno humanitné pracovisko,  vďaka čomu sa fakulta môže nazvať „prírodovedno-humanitná“ a ARRA ju bez väčšieho  problému zaradí do skupiny filozofických fakúlt. Takéto fakulty svojimi karentovanými publikáciami z prírodných vied budú v bodovaní ARRA vysoko prevyšovať ostatné filozofické fakulty. 

Aby nedošlo k nedorozumeniu. Neviem, aké dôvody viedli Žilinskú univerzitu, že pri transformovaní prírodovedeckej fakulty na fakultu humanitných vied ponechala na fakulte katedru matematiky a nepresunula ju na niektorú zo svojich technických fakúlt, kam by prirodzene patrila. Taktiež neviem, aké boli dôvody,  prečo Prešovská univerzita vytvorila hybridnú fakultu prírodných a humanitných vied.  Každá verejnoprávna vysoká škola má zvrchované právo zvoliť si takú štruktúru a také fakulty, aké ona uzná za vhodné.  Hovorí sa tomu akademická sloboda. V tom problém nevidím. Kde však problém vidím je  metodológia,  ktorá nie je schopná túto skutočnosť vo svojom hodnotení férovo zohľadniť.

V druhej etape sme sa na doktorandskom seminári dohodli, že nebudeme len kritizovať, ale pokúsime sa navrhnúť novú metodológiu  hodnotenia publikačnej činnosti, ktorá by adekvátnejšie reagovala na publikačné zvyklosti v humanitných odboroch.  Ako vstupné dáta sme použili  z databázy  CREPČ  tri  hlavné kategórie publikácií (A1, B a C),  a v rámci nich sme sa sústredili  na 9 podkategórií publikačných výstupov. Každej podkategórii sme prisúdili podľa jej vedeckej relevantnosti určitú bodovaciu váhu. Pri určovaní výšky jednotlivých váh sme zohľadňovali bežnú medzinárodnú  a domácu akademickú prax v humanitných odboroch, vrátane aktuálnych kritérií komplexnej akreditácie vysokých škôl.  Najvačšiu váhu v našej metodike majú  zahraničné monografie (bibliografická kategória AAA = 35). Domáce monografie majú menej než polovičnú hodnotu zahraničných monografií (AAB=15). Kapitoly v zahraničných monografiách (ABC=11,6) sú hodnotené rovnako ako články v zahraničných a domácich karentovaných časopisoch (ADC=ADD=11,6),  kým kapitoly v domácich monografiách sú hodnotenie  oveľa nižšie (ABD=7,5).  Pre zaujímavosť, dohromady bolo za obdobie šiestich rokov evidovaných viac ako 28 tisíc publikačných výstupov, z toho 92% v kategórii C.

 

Tu treba upozorniť, že sa  na Slovensku posledné roky rozmohla prax, evidovať monografie v slovenskom jazyku vydané vo vydavateľstve či dokonca len v tlačiarni v niektorom susednom štáte (hlavne v Českej republike a Poľsku), za zahraničné monografie kategórie AAA. My sme takéto monografie v našom hodnotení preklasifikovali (podobne ako to urobila pri terajšom komplexnom hodnotení aj akreditačná komisia) na kategóriu domácich monografií, ktoré majú podstatne nižšiu váhu. A to isté sme urobili aj v prípade kapitol v týchto monografiách. Za medzinárodné monografie (AAA) sme považovali len monografie v cudzom jazyku vydané v zahraničí. Najnižšiu váhu 1 sme priradili kategórii C publikácií v databáze CREPČ, do ktorej patria okrem iného aj zborníky a príspevky do zborníkov z rôznych domácich či zahraničných konferencií,  ktoré tvoria síce najpočetnejšiu časť publikačných výstupov, ale ktoré nie sú v akademických kruhoch hodnotené vysoko, pokiaľ vôbec.

 Nasledujúca tabuľka prináša výsledok nášho hodnotenia. Rebríček filozofických fakúlt je zostavený na základe indikátora IQVP, ktorý je aritmetickým priemerom dvoch iných indikátorov: indikátoru IVP a IQP.  Indikátor IVP určuje priemerný počet kvalitnejších publikácií   (kategória A1+ kategória B) na jedného tvorivého pracovníka fakulty. Počty tvorivých pracovníkom sme určili na základe údajov  z Registra zamestnancov na Portáli vysokých škôl. Indikátor IQP určuje akým dielom sú v publikačných výstupoch fakulty zastúpené kvalitnejšie publikácie: (A1+B)/(A1+B+C). V tabuľke je vyjadrená hodnota indikátoru v percentách, relatívne k  fakulte  s najvyššou hodnotou v danom indikátore, podobne ako to robí vo svojich tabuľkách ARRA. ARRAp je indikátor vyjadrujúci v percentách bodovanie publikačnej činnosti fakúlt relatívne voči najvyššej hodnote  (33,6 bodu = 100%)  pridelenej  FHPV PU podľa údajov v Prílohe ku Správe ARRA za r. 2014. Posledný stĺpec našej tabuľky zobrazuje o koľko percent sa líši naše hodnotenie publikačnej činnosti od hodnotenia, ktoré urobila ARRA.  Tak napr. obe trnavské filozofické fakulty sú v ARRA hodnotení publikačnej činnosti hodnotené  výrazne nižšie, FF TU o - 37%, FF UCM o - 30%, podobne aj FF KU v Ružomberku o – 30%. Na druhej strane  až o 48% v ARRA hodnotení je vyššie ocenená FHPV PU a o 36% FF UPJŠ v Košiciach.

Hodnotenie filozofických fakúlt na základe ich vedeckých publikácií

za obdobie 2008-2013

Poradie

 

Fakulta

IQVP

 

IVP

IQP

ARRAp

 

ARRAp    - IQVP

1.

Filozofická fakulta KU, Ružomberok

100

100

100

70

-30

2.

Filozofická fakulta TU, Trnava

97

99

96

60

-37

3.

Filozofická fakulta UMB, Banská Bystrica

73

67

79

66

-7

4.

Filozofická fakulta UCM, Trnava

65

45

85

35

-30

5.

Filozofická fakulta UPJŠ, Košice,

62

43

81

98

36

6.

Filozofická fakulta UKF, Nitra

61

45

77

58

-3

7.

Filozofická fakulta PU, Prešov

59

51

66

79

20

8.

Filozofická fakulta UK, Bratislava

59

43

75

56

-3

9.

Fakulta humanitných a prírodných vied PU, Prešov

52

64

39

100

48

10.

Fakulta humanitných vied ŽU, Žilina

45

27

63

55

10

Vysvetlivky k tabuľke:

ARRAp  = normalizované počty bodov za publikačnú činnosť  na 1 tvorivého pracovníka  (kritérium VV1) podľa ARRA  Príloha k ARRA správe z r. 2014, str. 62. Najvyššia hodnota 33,6 bodu  pre FHPV PU predstavuje v tejto tabuľke 100%.

IVP      =  počet publikácií kategórie A1 a B    na 1 tvorivého pracovníka (indikátor  priemernej intenzity kvalitnejších publ. výstupov)

IQP      =   podiel publikácií kategórie A1 a B  k publikáciám kategórie C (indikátor  pomerného zastúpenia kvalitnejších publ. výstupov v súbore všetkých publikácií) 

IQVP    = (IVP+IQP)/2

Podľa našej metodiky hodnotenia publikačnej činnosti je najlepšia FF KU v Ružomberku (100%), ktorá dosiahla maximálne hodnoty v oboch indikátoroch IVP a IQP. Tesne  za ňou je na druhom mieste FF TU v Trnave (97%). Na treťom mieste je FF UMB v B. Bystrici (73%). Potom nasleduje skupina piatich filozofických fakúlt  s veľmi podobnými hodnotami  pohybujúcimi sa v úzkom rozmedzí šiestich percent  (65-59%).  Na spodku rebríčka sa nachádza FHPV PU a FHV ŽU, kde sa umiestnili tieto fakulty na základe publikácií z humanitných vied,  potom, čo sme odpočítali ich publikácie z prírodných vied a matematiky. Samozrejme, adekvátne boli znížené počty tvorivých zamestnancov týchto fakúlt o zamestnancov z nehumanitných katedier.  Nás samozrejme  potešilo,  že v tomto hodnotení sa naša Filozofická fakulta UCM so 65% umiestnila na štvrtom mieste v rebríčku,  zatiaľ čo podľa hodnotenia ARRA sa umiestnila na poslednom, desiatom mieste.

Hlavným cieľom tohto doktorandského projektu študentov  Filozofickej fakulty UCM v Trnave je vyvolať verejnú diskusiu ohľadne hodnotenia kvality slovenských filozofických fakúlt na vecnom základe.  Všetky potrebné detaily tejto novej metodológie hodnotenia publikačnej činnosti filozofických fakúlt,  vrátane všetkých vstupných dát, prepočtov a medzivýsledkov budú sú k dispozícii na webovej stránke Filozofickej fakulty UCM.  Každá filozofická fakulta si takto môže veľmi jednoducho skontrolovať, či údaje použité v hodnotení sú správne a úplné, či nedošlo k omylu pri výpočtoch.  Dá sa očakávať, že navrhnutá nová metodológia hodnotenia, predovšetkým otázka priradenia konkrétnych váh jednotlivým kategóriám publikácií, vyvolá v akademickej obci polemiku. Je možné diskutovať o sofistikovanejšej podobe indikátora IQVP. Taktiež si viem predstaviť, že sa napríklad konsenzuálnym spôsobom vytvorí zoznam renomovaných zahraničných vydavateľstiev a vedeckých časopisov pre humanitné vedy, ktoré nie sú evidované vo WoK, ale publikovanie v nich predpokladá značnú kvalitu a ktoré budú mať  bodové ohodnotenie porovnateľné s karentami. Ale to úplne najpodstatnejšie je, aby sme konečne začali o týchto veciach vecne diskutovať.  

 

 

 

 

 

 

 

 

Páčil sa Vám tento článok? Pridajte si blogera medzi obľúbených a my Vám pošleme email keď napíše ďalší článok
Pridaj k obľúbeným

Hlavné správy

DOMOV

Stálicou maďarskej politiky na Slovensku je Béla Bugár

Maďarskú menšinu na Slovensku reprezentujú v podstate od roku 1989 tie isté tváre.

KOMENTÁRE

Vyčerpá sa s Ficom III Bugárov kredit?

Most-Híd je taký baleťák na hrane.

TECH

Lysohlávky pomohli pacientom s rakovinou

Látka dokázala odhaliť pacientom nový zmysel života.


Už ste čítali?