Óvísindaleg vinnubrögð

Vísindamenn þurfa að uppfylla nokkur skilyrði til að rannsókn þeirra geti talist árangursrík.

Það er mikilvægt að:

setja fram skýra rannsóknarspurningu,

leggja niður fyrir sér hvaða útkomur eru mögulegar og hvaða merkingu þær hafa fyrir rannsóknarspurninguna.

hanna tilraunina rétt t.d. skipa tilraunadýrum/sjúklingum af handahófi í hópa,

beita viðeigandi tölfræðiaðferðum og leiðrétta fyrir fjölda tölfræðiprófa,

meta niðurstöðurnar í ljósi viðtekinnar þekkingar.

Óskrifaða reglan er sú að vísindamenn séu vel að sér á sínu fræðasviði, viti um aðrar rannsóknir sem tekist hafa á við svipaðar spurningar, tilgátur sem settar hafa verið fram til að útskýra það fyrirbæri sem verið er að rannsaka, styrk og galla þeirra aðferða sem beitt hefur verið notaðar hafa verið. Þetta á allt að koma fram í tilvísunum í eldri greinar í inngangi tímaritsgreinarinnar sem kynnir niðurstöður viðkomandi rannsóknar.  Með öðrum orðum, vísindamenn eiga að temja sér fræðileg og fagleg vinnubrögð.

Nýleg samantekt Karen A. Robinson and Dr. Steven N. Goodman í Annals of Internal Medicine gekk út á að meta hversu vönduð vinnubrögð vísindamanna eru. Þau skoðuðu tilvísanir á milli greina um rannsóknir á tilteknum lyfjum. Þau völdu stórgreiningar (meta-analysis) - sem eru rannsóknir sem draga saman niðurstöður nokkura eldri rannsókna og meta heildaráhrif einhvers þáttar (eins og lyfs X á sjúkdóm Y). Þau athuguðu hversu margar af rannsóknum á t.d. lyfi X vitnuðu í fyrri rannsóknir á lyfi X. Það gefur vísbendingu um hversu vel fræðimennirnir voru að sér á sínu sérsviði. 

Aðeins helmingur af þessum lyfjaprófunum vitnuðu til eldri rannsókna, sem er ótrúlega lágt hlutfall. Spurning er hvað sé ástæðan, trúa vísindamennirnir því að þeirra rannsókn sé merkilegri en rannsóknir allra annara, eða eru þeir svona lélegir fræðimenn, illa lesnir, eða hreinlega óheiðarlegir?

Goodmann sagði í viðtali við New York Times að þetta getur hreinlega leitt til rangra ályktana:

If you are not citing the most similar studies, it is really hard to imagine that the evidence they provided played a role in the formulation of your hypothesis,

If the eighth study is positive, and the preceding seven were cold negative, is it proper to report that a treatment works? ...This may not be the fire, but it’s a heck of a lot of smoke.

Tölfræðin kennir okkur nefnilega að það er alltaf möguleiki að fá jákvæða niðurstöðu úr rannsókn - bara vegna TILVILJUNAR (oftast er miðað við alfa = 0.05, sem þýðir að 1 af hverjum 20 rannsóknum lítur út eins og jákvæð, þegar í raun var það bara hending að leik). Það dytti engum í hug að ráða vélvirkja sem myndi slumpast á að gera við einn af hverjum 20 bílum, bara vegna tilviljunar. Þess vegna skiptir mjög miklu máli að vísindamenn setji sínar niðurstöður í stærra samhengi, taki hliðsjón af svipuðum eða eins rannsóknum á sama vandamáli.

Skyldur vísindamanna eru að vinna sínar rannsóknir af mestu og bestu kostgæfni, og þar skiptir ekki minnstu fræðileg vinnubrögð (scholarship). Við vísindamenn þurfum að veita félögum okkar aðhald, sem er kannski erfitt á tímum þegar mælistikumennirnir krefjast þess að við birtum fleiri og þynnri greinar og útskrifum BS nema með hraði (án nokkurs tilkostnaðar).

Ítarefni:

NYTimes Trial in a Vacuum: Study of Studies Shows Few Citations by GINA KOLATA Published: January 17, 2011

Karen A. Robinson, Steven N. Goodman, A Systematic Examination of the Citation of Prior Research in Reports of Randomized, Controlled Trials Annals of Internal Medicine January 3, 2011 vol. 154 no. 1 50-55 

Athugasemdir

[Vendetta, 25.1.2011 kl. 19:09]

"... leggja niður fyrir sér hvaða útkomur eru mögulegar og hvaða merkingu þær hafa fyrir rannsóknarspurninguna."

Getur ekki verið að sumir "vísindamenn" aðhyllist frekar:

"leggja niður fyrir sér hvaða útkomur séu æskilegar og hvaða merkingu þær hafa fyrir rannsóknarspurninguna."

[Arnar Pálsson, 26.1.2011 kl. 09:41]

Sumir vísindamenn eru svo sannarlega giftir ákveðnum tilgátum, og reyna að afsanna aðrar tilgátur en ekki sína eigin. Það er einnig ófaglegt. Sem betur fer getur vísindasamfélagið sem heild unnið úr þessu veseni.

Ef byrjað er með 5 vísindamenn hver með sína tilgátu til að útskýra tiltekið fyrirbæri. Gefum okkur að vísindamennirnir reyni bara að afsanna tilgátur hinna, en prófi ekki sína tilgátu markvisst. Að endingu getur verið að ein tilgáta verði ekki afsönnuð - hún er þá meðtekin sem skásta, í augnablikinu, útskýringin á fyrirbærinu.

[Vendetta, 26.1.2011 kl. 13:51]

Þetta hljómar eins og þættirnir X-Files, þar sem draumóramaðurinn Mulder og vísindakonan/læknirinn Scully geta aldrei sannað neitt, en samt eru tilgátur Mulders (yfirleitt fengnar með útilokunaraðferðinni) alltaf teknar sem líklegasta skýringin, þar eð það fást aldrei neinar endanlegar niðurstöður frá vísindalegum aðferðum Scully's.

Annars hef ég lesið í stærðfræðibókum að algeng aðferð við að sanna einhverja tilgátu (hypothesis) er að ganga út frá því að hún sé röng. En ef það tekst hins vegar ekki að sýna fram á að hún sé röng, þá hlýtur hún að vera rétt og þar með er eins konar sönnun fengin. En það er auðvitað reginmunur á nákvæmri grein eins og stærðfræði annars vegar og hins vegar raunveruleg áhrif (eða áhrifaleysi) lyfja á sjúklinga, enda er oft notað trial-and-error. If the medicine works, fine. If not, the patient just isn't suitable for the medicine.

[Arnar Pálsson, 27.1.2011 kl. 11:34]

Vendetta

Mulder var náttúrulega snillingur, skáldsagnarpersóna vissulega, en rökvísasti draumóramaður sem til var. Ég á frænda sem trúði virkilega á geimverur á þessum tíma, og gerir kannski enn, sem stóð 100% á bak við Fox Mulder.

Krafan sem Hume setti fram var sú að ef þú ert með stórkostlega skýringu, þá verða sannanirnar að vera ennþá stórkostlegri. Það er ekki nóg að það sé formlegur möguleiki að geimverur hafi hrapað í Arizona á eftirstríðsárunum og að leifar þeirra séu geymdar á svæði 51 og að Indiana Jones hafi verið til og fundið geimskip í Amazón skóginum, við þurfum mjög traust gögn til að trúa svo ólíkegum atburðum.

Þetta er rétt um prófun tilgáta, vísindin snúast um afsönnun ekki sönnun. Við getum afsannað að sígarettur hafi engin áhrif á líkurnar á lungnakrabba. Og þar sem margar rannsóknir hafa sýnt að það er marktækt fleiri reykingamenn með lungnakrabba, getum við ályktað að sígarettur auka líkurnar á lungnakrabbameini.

Nú tildags eru langflest meðferðarúrræði prófuð með tölfræði (sérgrein á mörkum stærðfræði og tilraunavísinda). Við viljum vita hvort munur sé á tíðni sýkingar hjá hópum sem fengu mótefni eða lyfleysu (saltvatn)? Ef við getum hafnað því að tíðni sýkingar sé jafn mikil í báðum hópunum, þá höfum við e.t.v. nothæft mótefni í höndunum.

[Aðalsteinn Sigurgeirsson, 7.2.2011 kl. 14:32]

Af ágætri bloggsíðu Ágústs H. Bjarnason verkfræðings (þar sem eftirnafn hans er ættarnafn en ekki föðurnafn, beygist 'Bjarnason' ekki í eignarfalli):

Einkenni hjarðhugsunar:

1. Trú á eigin óskeikulleika.
2. Trú á eigin siðgæði.
3. Rangar ákvarðanir réttlættar.
4. Einföldun vandamála ræður ákvörðun.
5. Hræðsla við að vera öðru vísi en aðrir í hópnum.
6. Einstaklingsbundin álit kveðin niður.
7. Talað niður til þeirra sem ekki tilheyra hjörðinni.
8. Ad hominem eða persónuníði beitt þegar rök þrýtur.
9. Hræðsla við að láta raunverulegt álit sitt í ljós ef það er á skjön við samdóma álit hjarðarinnar.
10. Gefið í skyn að álitið sé samdóma.
11. Hugsanagæslumenn notaðir til að verja hjörðina frá óheppilegum upplýsingum.

 Berum þennan einkennalista saman við eftirfarandi:

http://www.visir.is/agengar-framandi-lifverur-eru-umhverfisvandamal/article/2011166359909

http://www.visir.is/var-rangt-af-mer-ad-sleppa-kaninu-i-esjuhlidum-/article/2011772098635

http://www.visir.is/af-natturuvernd--er-varud-ofgafull-/article/2011469804052

http://www.visir.is/vistfraedingar-fagna-tillogum-um-natturuverndarlog/article/2011834447538

 ... og höfum eftirfarandi til hliðsjónar:

Gagnlegar upplýsingar um frumvarp til laga um NVL

Misnotkun talna um framandi tegundir

[Arnar Pálsson, 8.2.2011 kl. 15:54]

Takk fyrir innleggið Aðalsteinn.

Rökstuddu nú fyrir mér, á annan hátt en með klippi og lími, að vistfræðingar sýni meiri hjarðhugsun en skógræktarfólk.

Hvar í greinum þessara vistfræðinga finnur þú t.d. persónuníð? 

Þú mátt alveg telja saman tilfelli persónuníðs í greinum skógræktarfólksins, sem leggst gegn náttúruverndarlögunum einnig, þ.e. ef þú vilt láta eitt yfir alla ganga.

[Aðalsteinn Sigurgeirsson, 8.2.2011 kl. 16:28]

Arnar:

Til þess að geta svarað þessum spurningum þínum með e-m vitrænum hætti, verður þú fyrst að skýra út og benda á dæmi (jafnvel "með klippi og lími") um að:

(a) einhver hafi haldið fram að "þessir vistfræðingar" (14 menningarnir?) sýni meiri hjarðhugsun en skógræktarfólk,

(b) einhver hafi haldið því fram að í einhverjum greinum "þessara vistfræðinga" (væntanlega 14-menninganna) hafi verið að finna "t.d. persónuníð",

(c) í "greinum skógræktarfólks, sem leggst gegn náttúruverndarlögunum einnig" hafi verið að finna eitthvert tilfelli persónuníðs.

Að öðrum kosti lít ég á þessi andsvör þín sem rökvillur í ætt við "et tu quoqe)" og "Ignoratio Elenchi".

[Arnar Pálsson, 9.2.2011 kl. 11:27]

Aðalsteinn

Þú klippir og límir lista frá Ágústi um 11 einkenni hjarðhugsunar.

Síðan setur þú inn lista af greinum vistfræðinga sem telja nauðsynlegt að setja strangari ákvæði inn í náttúruverndarlög um innflutning framandi tegunda.

Ég gerði ráð fyrir að það væri ákveðið samhengi í þessu, að þú fyndir í  skrifum vistfræðinganna dæmi um hjarðhugsun. Þú tilgreindir ekki nákvæmlega, hvaða einkenni um væri að ræða, en það er kannski óþarfi þar sem þú vilt e.t.v. frekar standa í blammeringum en að tala um fagleg atriði.

Ég spurði þig um eitt af þessum einkennum hjarðhugsunar (8):

• Ad hominem eða persónuníði beitt þegar rök þrýtur.

Fyrst þú hefur lesið allar þessar greinar vistfræðinganna (???), þá ættir þú að geta nefnt dæmi um persónuníð í þeim.

Þetta er frekar einföld spurning. Ef þú finnur ekki þessi dæmi um persónuníð í greinum vistfræðinganna, þá geri ég ráð fyrir að þú, í nafni grandvarar og heiðarlegrar umræðu dragir allavega þennan hluta athugasemdar þinnar til baka.

Og ég í sakleysi mínu bað þig um meta, sanngirninnar og hlutlægninar vegna, hvort þú fyndir einhver dæmi um persónuníð í skrifum skógræktarfólksins sem gagnrýnir afstöðu vistfræðinganna.