Viena labai svarbi sąvoka analizuojant tyrimus yra statistinio reikšmingumo idėja. Medicinoje rezultatas laikomas „statistiškai reikšmingu“, jei „p reikšmė“ yra mažesnė nei 0,05 (p reiškia tikimybę).

Tai pasidaro šiek tiek sudėtinga, bet prašau pakentėti. Kalbant kuo paprasčiau, p reikšmė yra tikimybė, kad buvo matomas tam tikras rezultatas, nors nulinė hipotezė yra teisinga. (Nulinė hipotezė yra alternatyva bandomai hipotezei. Medicinoje nulinė hipotezė paprastai yra hipotezė, kad intervencija neveikia, pavyzdžiui, kad statinai nesumažina mirtingumo).

Taigi p-vertė 0,05 reiškia, kad yra 5% ar mažesnė tikimybė, jog rezultatas buvo matomas, net jei nulinė hipotezė yra teisinga.

Vienas dalykas, kurį reikia suprasti, yra tai, kad 5% yra visiškai savavališka riba. Skaičius buvo pasirinktas XX amžiaus pradžioje, ir jis liko iki šiol. Ir tai sukelia daugybę beprotiškų interpretacijų. Jei p reikšmė yra 0,049, tyrimą atlikę mokslininkai dažnai džiaugiasi, nes rezultatas yra statistiškai reikšmingas. Kita vertus, jei p reikšmė yra 0,051, rezultatas bus laikomas nesėkmingu. Kiekvienas gali suprasti, kad tai juokinga, nes iš tikrųjų yra tik 0,002 (0,2%) skirtumas tarp dviejų rezultatų, ir vienas iš jų nėra statistiškai reikšmingesnis už kitą.

Aš asmeniškai manau, kad p-vertė 0,05 yra šiek tiek per didelė. Man būtų labiau patikę, jei standartinė ribinė vertė būtų nustatyta 0,01, ir aš skeptiškai vertinu rezultatus, kurie rodo didesnę p vertę nei 0,01. Mane labai jaudina tai, kai matau, kad p vertė yra mažesnė nei 0,001.

Ypač svarbu skeptiškai vertinti p reikšmes, kurios yra didesnės nei 0,01, atsižvelgiant į kitus dalykus, kuriuos žinome apie medicinos mokslą. Pirma, tai, kad yra stiprus publikacijų šališkumas, dėl kurio statistinio reikšmingumo nerodantys tyrimai „išnyksta“ greičiau nei tyrimai, rodantys statistinį reikšmingumą. Antra, kad tyrimus dažnai atlieka žmonės, suinteresuoti rezultatu, ir jie padarys viską, kad pasiektų norimą rezultatą. Trečia - kadangi 0,05 ribinė vertė yra naudojama netinkamai visą laiką dėl priežasties, kurią dabar aptarsime.

0,05 riba iš tikrųjų turėtų būti taikoma tik tada, kai žiūrima į vieną santykį. Jei vienu metu pažvelgsite į dvidešimt skirtingų santykių, tada tik vienas iš šių santykių parodys statistinę reikšmę. Ar tie santykiai tikri? Beveik tikrai ne.

Kuo daugiau kintamųjų žiūrite, tuo griežčiau turėtumėte nustatyti statistinio reikšmingumo ribą. Tačiau labai mažai medicinos tyrimų tai daro. Jie mielai praneša apie statistinį reikšmingumą, kurio p reikšmė yra 0,05, ir elgiasi taip, lyg būtų parodę reikšmingą rezultatą, net ir matydami šimtą skirtingų kintamųjų. Tai blogas mokslas, tačiau net ir dideli tyrimai, paskelbti prestižiniuose žurnaluose, tai daro.

Štai kodėl mokslininkai, prieš pradėdami tyrimą, turėtų nuspręsti dėl „pirminio galutinio taško“ ir, idealiu atveju, paskelbti tą pirminį galutinį tašką Clinicaltrials.gov [1] Pagrindinis tikslas yra klausimas, į kurį mokslininkai daugiausia bando atsakyti - pavyzdžiui, ar statinai mažina bendrąjį mirtingumą? Tada jie gali naudoti 0,05 ribą pagrindiniam galutiniam taškui be sukčiavimo. Paprastai mokslininkai turėtų pranešti apie bet kokius kitus rezultatus taip, lyg jiems taip pat būtų taikoma 0,05 ribinė vertė, tačiau taip nėra.

Priežastis, dėl kurios tyrėjai prieš pradėdami tyrimą turėtų paskelbti pagrindinį rezultatą Clinicaltrials.gov [1], yra ta, kad priešingu atveju jie gali pasirinkti galutinį rezultatą, kuris yra statistiškai reikšmingiausias, po to, kai jie turi visus rezultatus, ir padaryti tai pagrindiniu rezultatu . Žinoma, tai yra statistinio sukčiavimo forma. Bet tai atsitiko, daug kartų. Štai kodėl Clinicaltrials.gov [1] yra toks svarbus.

Vienas dalykas, kurį reikia žinoti, yra tai, kad didelės dalies tyrimų negalima sėkmingai pakartoti. Kai kurie tyrimai parodė, kad daugiau nei 50% tyrimų negalima pakartoti. Tai yra nepaisant ribos, dėl kurios tai turėtų įvykti tik 5% atvejų. Kaip tai gali būti?

Manau, kad trys pagrindinės priežastys yra paskelbimo šališkumas, interesai, kurie daro viską, ką gali, kad manipuliuotų tyrimais, ir netinkamas 5% p vertės ribos naudojimas. Štai kodėl niekada neturėtume per daug pasitikėti rezultatu, kuris nebuvo pakartotas.