Ritrýni og skuggahliðar vefsins

Í þessari grein verða tvö ólík viðfangsefni tengd. Í fyrsta lagi verður fjallað um það hvernig vísindalegar rannsóknir eru metnar og kunngjörðar. Í öðru lagi tölum við um skugga hliðar vefsins, sem tengjast útgáfu vísindalegra tímarita.

Útgáfa vísindalegra rannsókna

Tímaritsgreinar og bækur er kjarninn í miðlun vísindalegrar þekkingu. Það skiptir litlu máli hver hrópar EUREKA, mestu skiptir hver skrifar greinina sem lýsir uppgötvuninni og setur hana í samhengi við þekkinguna.

Vísindalegar greinarnar þurfa að fara í gegnum ferli áður en þær eru birtar. Höfundur(ar) skrifar grein sem lýsir ákveðinni rannsókn og niðurstöðum hennar. Hann sendir greinina til ritstjórn ákveðins tímarits.

Síðan hefst jafningjarýni. Handrit er send í yfirlestur til tveggja eða fleiri sérfræðinga sem meta rannsóknina, heimildavinnu, tölfræði, tilraunir og úrvinnslu, sem og almennt gæði umræðu og fræðimennskunnar. Ef greinin hlýtur jákvæða umsögn er hún birt í viðkomandi tímariti, oft eftir töluverðar leiðréttingar. Ef greinin er ekki nógu góð, er henni hafnað. Sumar slíkar greinar eru sendar til annara tímarita, oft eftir leiðréttingar, og birtast á endanum. Aðrar eru það lélegar að þær verða aldrei hluti af hinum vísindalega fræðagrunni.

Ekki eru allar vísindagreinar sannar!

EN, jafnvel  þótt að grein sé samþykkt og birt, þá þýðir það ekki að allt í henni sé rétt. Hver rannsókn er eyland, og það þarf fleiri rannsóknir og endurtekin próf til að vísindasamfélagið sannfærist um sannleiksgildi ákveðinna hugmynda. Til dæmis voru fyrstu rannsóknirnar sem bentu á tengsl sígarettureykinga og krabbameina ekki taldar nægilega sannfærandi. En ítrekuð próf og stærri gagnasett gáfu öll sömu niðurstöðu. Því vitum við nú að reykingar valda lungnakrabba.

Ekki eru öll vísindatímarit jafngóð

Vísindatímarit eru misgóð og orðspor þeirra er misjafnt. Til eru nokkur ofurtímarit, Nature, Science og PNAS sem birta greinar úr öllum áttum, og yfirleitt bara afburða eða mjög forvitnilegar rannsóknir. Síðan eru til tímarit þar sem kröfurnar eru afmarkaðari, t.d. er bara tekið við rannsóknum á sjávarlífverum eða stjörnuþokum. Einnig eru tímarit með einfaldari kröfur um rannsóknir eða aðgengi að gögnum. Og jafnvel er til tímarit þar sem engar kröfur eru gerðar um efni, bara að rannsóknin sé vel unnin og gögnin séu aðgengileg fyrir aðra. Dæmi um þetta er galopna tímaritið PLoS One.

Vísindamenn vilja auðvitað birta í tímaritum sem eru víðlesin, eða afburða góðum. Þannig getur erfðafræðingum þótt ákjósanlegt að birta í Nature, en einnig í Genetics eða PLoS genetics. Þeim er ekki sama upphefð í því að birta í öðrum, lægra skrifuðum erfðafræðitímaritum, og grein þeirra verður ekki lesin af jafn mörgum heldur!

Fyrir fræðimanninn er mikilvægast að þekkja tímaritin á sínu fræðasviði, og vita hvaða tímarit birta forvitnilegustu greinarnar, eru með góða ritstjóra og með víðan og upplýstan lesendahóp.

Ný tímarit eingöngu á vefnum

Síðustu 10 ár hefur orðið sprenging í útgáfu vísindatímarita á vefnum. Gömlu tímaritin voru gefin út af fagfélögum eða stórum útgáfufyrirtækjum, og voru seld í áskrift sem einstaklingar og aðrir borguðu fyrir. Síðan spruttu upp óháð tímarit sem snéru dæminu við. Aðgangur að greinunum var ókeypis, allt á netinu. En kostnaðurinn við útgáfuna var borinn af vísindamönnunum. Í stað fyrir að fólk keypti aðgang að tímariti, þá borgaði það fyrir útgáfu sinnar greinar. Í líffræði byrjað tímaritið PLoS Biology fyrir rúmum 10 árum, og gaf síðan af sér PLoS One. Í því tímariti birtast nú árlega um 3% af öllum vísindagreinum sem birtast í heiminum.

Þessar breytingar hafa eðlilega hreyft við gömlu útgáfuveldunum, sem hafa reynt ýmislegt til að halda stöðu sinni. M.a. að reyna að knýja fram breytingar á lögum um vísindaútgáfu og fleira undarlegt.

Ný tímarit eingöngu til fyrir gróða

En slæmu fréttirnar eru þær að með netinu opnaðist fyrir nýjar leiðir fyrir svindl. Nethrappar reyna að svína á vísindamönnum eins og öðru fólki. Tvennskonar svindl er algengast. Í fyrsta lagi eru gerviráðstefnur, sem vísindamönnum er boðið á með loforði um að þeir fái að kynna niðurstöður sínar. Í öðru lagi eru gervivísindatímarit eða vísindarit með mjög litlar kröfur. Hrappar hafa nýtt sér líkan opinna tímarita og sett upp svikamyllu, eða amk myllu sem framleiðir óhreint mjöl.

Nærtækt dæmi um er þegar íslenska vísindaritinu  Jökli var rænt. Tímaritið er gefið út af Jöklarannsóknarfélaginu, en hrappar settu upp tvær gervisíður til að reyna að hafa fé af fólki.

Ég vill leggja áherslu á að þetta vandamál er ekki bundið við Opinn aðgang, eða eðlileg afleiðing opins aðgangs. Þetta er afleiðing netvæðingarinnar fyrst og fremst. En svona blekkingar sýna okkur líka að vísindamenn eru ginkeyptir og jafnvel fyrir einföldum barbabrellum.

Rannsókn John Bohannan

Vísindablaðamaðurinn John Bohannan birti grein í tímaritinu Science í fyrra, sem heitir Who's afraid of peer review?

Um er að ræða klassíska rannsóknarblaðamennsku, með beitu sem lögð var fyrir ritstjóra og yfirlesrara nokkur hundruð tímarita. Beitan var vísindagrein um rannsókn á áhrifum efnis á vöxt krabbameinsfruma.

Bohannan lagði beitur, með meingöllðum greinum um stórundarlega rannsókn... tilraunir voru ekki með rétt viðmið, niðurstöðurnar misvísandi, túlkanirnar úr öllu samræmi við niðurstöðurnar. Þannig að hæfir ritstjórar og yfirlesarar áttu að geta greint gallana auðveldlega. Greinarnar voru aldrei nákvæmlega eins, skipt var um efnasamband, krabbamein, höfund og stofnun, en í meginatriðum var sagan sú sama. Greinarnar voru skrifaðar á ensku, þýddar með google translate yfir í frönsku, og aftur til baka (verstu agnúarnir sniðnir af, en textinn samt á hrukkóttri ensku). Niðurstaðan var sú að stórt hlutfall greinanna var samþykktur (157 á móti 98 sem var hafnað)#

Mörg tímarit sem virðast vísindaleg eru ekki með raunverulega ritrýni

Ástæðan er sú að mörg þessara tímarita eru ekki raunveruleg vísindarit, heldur svikamyllur eða hreint hálfkák.

En rannsókn Bohannan var ekki gallalaus, sérstaklega vegna þess að tímaritin sem hann sendi til voru ekki handahófskennt valin. Þau voru valin vegna þess að þau eru með opinn aðgang. Þess ber að geta að PLoS One hafnaði grein Bohannans.

Í leiðara Science var "rannsókn" Bohannans túlkuð sem áfellisdómur yfir opnum aðgangi, og opnum tímaritum. Það er röng túlkun. Opinn aðgangur er ekki vandamálið, frekar en að internetið sé vandamálið. Vandamálið er að sumt fólk, jafnvel vísindamenn, fellur fyrir brellum. 

Eins og áður sagði þá borga höfundar fyrir umsýsl og umbrot í opnum tímaritum. En það gleymist einnig að mörg venjuleg tímarit rukka höfunda líka, fyrir umbrot, litmyndir eða prentun (sem getur verið jafn mikið og í opnum tímaritum).

Lokaorð
Skuggahliðar vefsins hafa áhrif á vísindin. Einnig er höfuðáhersla á fjölda birta greina að grafa undan gæðum vísinda á heimsvísu. Það er vandamál sem vísindamenn þurfa að takast á við, og lagfæra áður en skattgreiðendur missa traust á starfi þeirra.

Vísindamenn þurfa að læra á sitt fræðasamfélag. Þeir ættu að senda greinar í tímarit sem eru virt á þeirra sviði. Það er ekki í lagi að senda grein í eitthvað tímarit sem viðkomandi veit ekkert um.

Háskólar þurfa að breyta kerfinu sem þeir nota til að meta "framleiðni" vísindamanna. Eins og áður sagði er við HÍ t.d. punktakerfi sem hvetur vísindamenn til að framleiða greinar, ekki endilega að gera vandaðar rannsóknir.

Almenningur þarf að skilja að vísindagrein er ekki endanlegur sannleikur. Ein rannsókn getur verið röng, en ef margar greinar benda í sömu átt er niðurstaðan líklega rétt.

# Ef greinarnar voru samþykktar, þá sendi Bohannan bréf og dró greinina til baka!

Ítarefni

Arnar Pálsson | 4. mars 2013 Ný opin tímarit á sviði líffræði

Arnar Pálsson | 14. ágúst 2013  Jökli var rænt

Arnar Pálsson | 18. janúar 2012 Gömul viðskiptaveldi og nútíminn

Ian Dworkin Fallout from John Bohannon's "Who's afraid of peer review"

Arnar Pálsson og Pétur H. Petersen Gallað vinnumatskerfi HÍ vinnur gegn gæðum vísinda

Athugasemdir

[Mofi, 16.4.2014 kl. 09:31]

Góð grein, áhugaverðir punktar.  Eitthvað sem þér gæti þótt áhugavert: Another Nobelist denounces peer review

[Arnar Pálsson, 16.4.2014 kl. 14:09]

Takk fyrir ábendinguna Mofi

Hér er viðtalið sjálft

http://kingsreview.co.uk/magazine/blog/2014/02/24/how-academia-and-publishing-are-destroying-scientific-innovation-a-conversation-with-sydney-brenner/

Sydney Brenner hefur aldrei legið á skoðunum sínum, og verið með nokkra ansi villta punkta! En hann er nokkuð nærri lagi hér, þegar hann bendir á stöðu framhaldsnema. Þeir lenda einnig undir í kerfi sem hvetur til framleiðni á greinum, en ekki skapandi hugsunar, sbr grein okkar Péturs (að ofan).

Annars var grein nýja nóbelsverðlaunhafans Randy Schekman forvitnilegri, þar sem hann sagði að elítutímaritin (Science, Nature, Cell og PNAS) væru að skemma vísindin.

http://www.theguardian.com/science/2013/dec/09/nobel-winner-boycott-science-journals

Ástæðan er sú að þessi tímarit eru í mjög strangri samkeppni, og hún getur leitt til þess að þeir birta frekar forvitnilegar niðurstöður en traustar. Sbr. klúðrið með NASA og bakteríurnar sem áttu að geta lifa á arseniki.

Hans G. Þormar Svona vinna vísindin