Mistök háskólaráðs

Síðasta fimmtudag 12 nóvember samþykkti Háskólaráð breytingar á matskerfi HÍ. Vísindanefndin hafði unnið í nokkur ár að nýju matskerfi og komist að ágætri málamiðlun. Síðan tóku  sviðsforsetar HÍ, ásamt rektor og hennar innsta hring og breyttu matskerfinu til hins verra.

Vísindamenn, kynnið ykkur málið, og skrifið endilega undir mótmælin (http://www.petitiononline.com/matskerf/petition.html).

Athugasemdir

[Eyja M. Brynjarsdóttir (IP-tala skráð) 12.11.2009 kl. 14:26]

Mig langar að spyrja um þrennt: 1) Hvaðan koma upplýsingarnar sem taflan sem fylgdi hinni færslunni þinni um þetta efni er byggð á, þ.e. taflan þar sem kemur fram meðalfjöldi höfunda eftir tímaritum? Mér þætti forvitnilegt að sjá sambærilegar upplýsingar um fleiri rit, ef hægt er að nálgast þær. 2) Hvað er raunhæft að gera ráð fyrir að vísindamaður t.d. á þínu sviði geti verið meðhöfundur að mörgum 10-höfunda greinum á ári? Gerum ráð fyrir að viðkomandi gangi vel í sínu fagi, þ.e. metnaðarfullu mati en ekki t.d. meðaltali við HÍ. 3) Liggur alltaf fyrir hver er aðalhöfundur og er framlag hans til greinarinnar alltaf mun meira en meðhöfunda?

Á mínu sviði (heimspeki) er sjaldan nema einn höfundur að hverri grein sem birt er og þeir sem eru öflugir á sviðinu (svona ef maður sér fyrir sér ritaskrár þeirra sem teljast upprennandi á heimsvísu) birta kannski 2-3 ISI-greinar (eða sambærilegt) á ári. Það kemur fyrir að höfundar eru tveir (í algjörum undantekningum þrír) en þá er um samvinnuverkefni að ræða og hvorugur er aðalhöfundur frekar en hinn. Nýju reglurnar koma vel út fyrir mitt svið, ég hefði fengið um 30% fleiri rannsóknarstig fyrir mínar birtingar á síðasta ári skv. þeim. Fyrir mitt leyti væri ég til í að sjá meiri mun á stigum fyrir ISI-birtingar og staðbundnar en finnst þó skárra að geta núna fengið 20 stig í stað 15 (sem verið hefur) fyrir hinar fyrrnefndu.

Ég skoðaði undirskriftalistann og hnaut um það að þar er haldið fram að sviðsforsetarnir hafi breytt þessu rökstuðningslaust. Ég á erfitt með að fallast á það. Síðasta vor bað sviðsforseti hugvísindasviðs um athugasemdir frá starfsfólki sviðsins við tillögurnar og urðu heilmiklar umræður um efnið og margir sendu álit með rökstuðningi. Ég geri ráð fyrir að umræður hafi verið á öðrum fræðasviðum líka og að notast hafi verið við rökstuðning sem þar kom fram og eins kom fram rökstuðningur með kynningu á nýju reglunum núna. Hitt er svo rétt að ekkert færi var gefið á að gera athugasemdir við þessar nýju reglur núna. Ég tók eftir að allir þeir sem skrifa undir eru af Verkfræði- og raunvísindasviði eða Heilbrigðisvísindasviði, sem gefur til kynna að óánægjan sé staðbundin. Ég er farin að efast um að það sé skynsamlegt að hafa sömu matsreglurnar fyrir öll svið þar sem birtingarhefðir eru gjörólíkar.

[Arnar Pálsson, 12.11.2009 kl. 14:57]

Sæl Eyja, takk fyrir innslagið.

1) Taflan var unnin af Magnúsi Karli Magnússyni, og byggir á meðaltali fyrir fjölda höfunda í mismunandi tímaritum. Skarpasti munurinn, frá mínum bæjardyrum er á milli Læknablaðsins og ISI greina.

2) Fagsviðin eru mismunandi, samstarf stórra hópa er algengt í sameindalíffræði og erfðamengjafræði, en minni hópar algengir í vistfræði og þróunarfræði. Eins höfunda greinar eru ekki óþekktar þar.

3) Varðandi aðalhöfund, þá er þetta alveg á skýru í líffræði, en mér skilst að þetta sé ekki svo í stærðfræði eða efnafræði. Þar sé stundum raðað eftir stafrófsröð (ef ég man rétt!).

Í tillögum vísindanefndar voru sett inn ákvæði um aukinn stig fyrir ISI greinar, og sérstakur bónus fyrir greinar í þeim tímaritum sem skara fram úr á viðkomandi fræðiasviði (sem hlýtur að vera hvetjandi). Þetta nýtist augljóslega aðallega raunvísindafólki. Til móts voru sett inn fleiri stig fyrir bækur, sérstaklega bækur frá virtum forlögum, sem gagnast aðallega hugvísindafólki (ef við leyfum okkur svona einfalda heimsmynd, raunvísindi og hugvísindi). Í meðförum sviðahausanna var vægi ISI greinanna lækkað en haldið í aukna stigagjöf fyrir bækur.

Það útskýrir hversvegna heilbrigðisvísindi og raunvísindi brugðust svona harkalega við.

Hin ástæðan er sú, sem þú bendir réttilega á að, að þessu var í raun laumað í gegn án umræðu. Það var haldinn kynningarfundur hér fyrir rúmri viku, og tillögum um breytingarnar var ekki einu sinni dreift fyrir fundinn.

Ótrúlegt halda fund til að kynna eitthvað, en ekki leyfa fólki að sjá það sem átti að kynna.

[Eyja M. Brynjarsdóttir (IP-tala skráð) 12.11.2009 kl. 15:29]

1) Já, það sést nú á töflunni sjálfri að hún sé byggð á meðalfjölda höfunda í þessum tímaritum, ég hugvísindamanneskjan er nú ekki alveg svo stirðlæs á töflur ;) Það sem ég var að velta fyrir mér var hvort upplýsingar um meðalfjölda höfunda væru einhvers staðar aðgengilegar, t.d. fyrir önnur rit en birtast í töflunni.

2) En veistu hvað þeir sem vinna aðallega í hópum geta birt ca. margar greinar á ári? Fyrir mig, sem vinn mikið ein, er útilokað að meta hve mikla vinnu hver og einn hefur lagt í tíu höfunda grein, hvað þá ef höfundarnir eru hundrað eins og þekkist sums staðar, þannig að ég hef enga tilfinningu fyrir raunhæfum fjölda birtra greina á ári hjá þeim.

3) Þetta bendir til þess að ósanngjarnt sé að miða bara við eina reglu í þessum efnum. Þ.e. ef reglan gerir ráð fyrir aðalhöfundi sem fær meira en hinir bitnar það á þeim sem hafa skipt framlaginu með sér jafnt en það að skipta stigunum jafnt hentar ekki þar sem raunverulega er um ákveðinn aðalhöfund að ræða. Það þyrfti leið til að gera ráð fyrir báðum möguleikunum.

Ég skil ekki heldur hvers vegna kjammarnir lækkuðu vægi ISI-greina miðað við tillögurnar (ef ég man rétt átti að vera hægt að fá 25 stig) og man ekki til þess að hafa séð rökstuðning fyrir því. Þetta með fjölhöfundagreinarnar er svolítið annað mál, það virðist erfitt að komast niður á "one size fits all"-kerfi í þeim efnum. Ég hef svolítið skoðað þessi birtingarmál þegar ég hef kennt siðfræði rannsókna og fæ ekki betur séð en það geti verið afar misjafnt eftir greinum, jafnvel innan sömu fræðasviða, hvers er ætlast til af þeim sem fá nafnið sitt á listann yfir höfunda. Í sumum fögum er það t.d. tekið sem gefið að leiðbeinandi doktorsnema sé skráður meðhöfundur allra greina sem neminn birtir en í öðrum fögum þekkist þetta ekki. Þar má velta fyrir sér hvort sanngjarnt sé að leiðbeinendur í fyrri fögunum safni rannsóknarstigum út á nemendur sína en í þeim síðarnefndu ekki, ef við gerum nú ráð fyrir því að báðir hafi sinnt nemendum sínum jafnvel. Ég held að hvaða reglur sem settar eru um fjölhöfundagreinar séu dæmdar til að skapa óánægju hjá einhverjum. Best væri ef hægt væri að finna kerfi sem væri nógu sveigjanlegt til að gera alla káta.

Það væri mjög fróðlegt að sjá samanburð við erlend matskerfi. Ætli það tíðkist almennt að vera með svona alltumlykjandi kerfi hjá háskólum þar sem fólk af ólíkum sviðum er metið með sama mælitækinu?

[Arnar Pálsson, 12.11.2009 kl. 16:04]

Sæl Eyja

1) Ég vísa á Magnús Karl hvað varðar frumtölurnar.

2) Þetta er ansi fjölbreytt. Mjög virkir vísindamenn birta tug greina á ári, en slikt er nærri óþekkt hérlendis nema í einkavædda birtingabatteríinu sem er ÍE. Ég hef ekki haldbæra tölu varðandi meðalfjölda greina sem höfunda birta, enda er það mismunandi t.d. eftir fræðasviðum líffræði og raunvísinda.

3) Ég held að það sé mikilvægt að hafa einhverskonar samhæft kerfi. Það að telja punkta og stig er vissulega hvetjandi, ef launaseðillinn þinn þykknar í kjölfarið. En það ýtir líka undir framleiðslu, sem getur verið á kostnað gæða.

Joe Cain, sem var hér um daginn benti á að í University College í London eru menn metnir á 5 ára fresti. Þá verða þeir að leggja fram sínar 5 bestu greinar.

Það finnst mér mjög aðlaðandi hugmynd, því það heldur fólki við efnið, en gefur fólki líka tækifæri á að benda á það sem virkilega skiptir máli.

Breska kerfið er mun hallara undir ISI greinar en okkar kerfi, og það er kerfi sem á við alla háskóla í Bretlandi. Það er náttúrulega grín að við skulum reyna að handsmíða eitt kerfi fyrir HÍ, og síðan annað fyrir HR o.s.frv. 

Ég held að það sé best að hafa einfallt og gagnsætt kerfi, sem krefst ekki mikils bókhalds og umsýslu. Það sparar stjórnsýslu og gefur fræðifólkinu tíma til að rannsaka, birta og halda fyrirlestra.

[Magnús K. Magnússon (IP-tala skráð) 13.11.2009 kl. 23:57]

Sæll Arnar og sæl Eyja

Hef alveg misst af þessari umræðu ykkar umvinnumatskerfið. Eyja spyr mjög góðra og málefnalegra spurninga. Ég ætla aðeins að blanda mér í þá umræðu.

Fyrst varðandi breytingartillögur fræðsviðsforseta og rektors. Þau atriði sem mesta furðu vekja og Arnar bendir á, s.s. um vægi aðalhöfundar í fjölhöfundagrein, lítið vægi bestu birtinga og raunalega lítið vægi fyrir góðar fjölhöfundagreinar finnst okkur vera grundvallaratriði og mikið réttlætismál. Eyja er ekki sammála fullyrðingunni að þessu sé breytt án röksemdafærslu. Ég verð að vera ósammála henni þar. Ég get ekki séð nein fagleg rök fyrir að breyta þessari tillögu vísindanefndar. Hér er ég að vísa í tillögur (með stuttri greinargerða) fræðasviðsforseta og rektors sem háskólaráð samþykkti.

Einnig verð ég að segja að mér finnst það bísna kostulegt að fræðasviðsforsetar þeirra sviða þar sem fjölhöfundahefðin er minnst viðhöfð skuli hafa sterkasta skoðun á útfærslu hennar. Mér er ekki kunnugt um að þeir sem sent hafi inn athugasemdir um þessar breytingar hafi haft mikla faglega innsýn inn í eðli slíkra greina. Ef að þetta er rétt sýnist mér nokk augljóst að hagsmunagæsla fremur en fagleg rök um vísindalega umbun hafi stýrt málum.

Varðandi fjölda greina á ári (þ.e. eðlileg afköst) þá er það alltaf erfið spurning að svara. Til að gefa einhverja tilfinningu þá má nefna að doktorsvinna á sviði sameinda- eða frumulíffræði birtist oft í einni stórri fjölhöfundagrein þar sem doktorsefnið er fyrsti höfundur og ábyrgðahöfundur - leiðbeinandi - er sá síðasti. Þannig geta það verið mjög viðunandi afköst að birta eina (til tvær) aðalhöfundagreinar í góðum alþjóðlegum tímaritum á ári. Nú er það jafnvel orðið svo að í allra bestu tímaritum er oft um að tvo fyrstu höfunda (stundum er þá um að ræða 3-6 mannára vinna doktorsnema/nýdoktora) og tugir milljóna króna í launa- og efniskostnað. Fjöldi meðhöfunda birtist þá oft í því að fjölmörgum dýrum aðferðafræðum er beitt og þannig þarf að leita fanga víða, fá aðstoð við framkvæmd tilrauna hjá öðrum rannsóknarstofum o.s.frv. Flestir sem meta afköst leggja þá langmest vægi á aðalhöfund (og fyrsta höfund). Aðalhöfundur er  hugmyndafræðilegur stjórnandi, hefur aflað styrkja og stýrt vinnunni. Sumir hafa yfir að ráða einni sérhæfðri tækni eða þekkingu og verða fyrir bragðið meðhöfundar á fjölda greina. Ef þeir eru einvörðungu meðhöfundar þá er augljóst að þeir eru ekki að draga vagninn (amk hugmyndafræðilega).

Kerfið sem HÍ hefur nú staðfest dregur mjög taum þeirra sem birta margar greinar semmeðhöfundar, í síðri tímaritum með fáum öðrum meðhöfundum. Þetta er EKKI mælikvarði á gæði og raunar hefur það að mörgu leyti öfugt forspárgildi og það er bísna sorglegt.

PS: Varðandi töfluna og fjölda höfunda, þá er þetta frá mér komið með því að ósköp einfaldega telja höfundafjölda í viðkomandi tímaritum og síðan að setja upp einfalda reikniformúlu þar sem punktar voru heimfærðir upp á hverja einstaka grein og meðaltal tekið af því. Ég get bætt því við að óformlegt samtal við Halldór Jónsson sem er öllum hnútum kunnugur í bibliometriu staðfesti að gott samhengi sé milli fjölda höfunda og impact factors tímarita á þessum fræðasviðum.