„Publikovaná odborná literatura je systematicky zkreslená směrem k pozitivním nálezům,“ míní oceněný vědec Michal Smetana

Tvoje výzkumy často stojí na experimentálních metodách. Co v praxi znamená navrhnout experiment tak, aby ho někdo jiný mohl zopakovat?

Klíčové je v rámci dané publikace poskytnout podrobné informace o designu experimentu a přesném postupu při výběru respondentů a analýze sebraných dat. Konkrétně v případě „survey experimentů“, kterým se věnuji já, k tomu patří mimo jiné i sdílení kompletního dotazníku ve všech jeho experimentálních variacích. Klíčové jsou i informace o kritériích pro vyřazení účastníků ze vzorku. Standardem by dnes mělo být i poskytnutí datového souboru a replikačního kódu, který umožňuje zopakovat danou statistickou analýzu přesně tak, jak ji provedli původní autoři.

Jak často při zahájení nového výzkumu vycházíš z dat nebo kódů, které zveřejnili jiní vědci? A když taková data najdeš, v jakém stavu bývají?

Není to příliš časté. Většina mých prací je založena na vlastních, originálních experimentálních designech a na testování nových hypotéz. Nicméně je pravda, že jsme nedávno s kolegy a kolegyněmi z Univerzity Karlovy a Oxfordské univerzity spustili nový projekt, v rámci kterého replikujeme celou řadu známých experimentů o postojích k jaderným zbraním, které byly provedeny před zahájením války na Ukrajině. Co se stavu materiálů, dat a replikačních kódů týče, bylo to pro nás poměrně nepříjemné překvapení. Ačkoliv se jedná vesměs o významné autory a špičkové časopisy, opakovaně jsme narazili na problém nedostupnosti dat, nekompletních dotazníků, problematického kódování, chybějících údajů, nereportování důležité části výsledků či chyb v reportingu výsledků. Někdy se nám povedlo tyto problémy vyřešit skrze přímou komunikaci s autory, v některých případech jsme ale z těchto důvodů nemohli studie do replikačního poolu zařadit. Obávám se, že v případě méně kvalitních časopisů bude ta situace ještě výrazně horší.

Máš pocit, že větší dostupnost dat změnila způsob, jakým se dnes dělá výzkum v mezinárodních vztazích a bezpečnostních studiích?

Řekl bych, že náš obor jako celek na tyto praktiky zatím najíždí poměrně pomalu. Určitě vidím za posledních pár let posun specificky v oblasti experimentálních politických věd, v dalších suboborech ta změna zatím vidět tolik není.

Otevřená věda stojí na sdílení poznatků a mezinárodní spolupráci. Má podle tebe současné geopolitické napětí – třeba rivalita velmocí nebo tlak na bezpečnost výzkumu – vliv na to, jak otevřeně vědci data sdílejí?

Určitě ano, ale spíše se to týká přírodních věd a technických oborů. V rámci mého oboru tento tlak v kontextu sdílení dat nevnímám, mojí filozofií je snažit se sdílet plná data i replikační kód zcela otevřeně hned po publikaci článku.

Dostupnost dat ale nepomáhá jen novému výzkumu. Umožňuje také vracet se k již publikovaným studiím a ověřovat jejich závěry. Ty se tomu ve svém výzkumu věnuješ dlouhodobě. Co přesně taková replikace výzkumu obnáší?

Primárně jde o zopakování existujícího výzkumu za účelem ověření, že efekt identifikovaný v původní studii skutečně existuje a že pokud jiní výzkumníci studii zopakují přesně podle původního plánu, naleznou ho také. Jakkoliv se nejčastěji mluví o zfalšovaných nebo selektivně vybraných výsledcích, v mnoha případech není možné výsledek zreplikovat jednoduše proto, že se autoři původní studie dopustili nezáměrného omylu, případně se jedná o falešně pozitivní výsledek čistě v důsledku náhody. Tenhle problém navíc zesiluje takzvaný „publikační bias“, kdy je tendence publikovat pozitivní výsledky a ty „nulové“ nechávat v šuplíku. Publikovaná odborná literatura je proto systematicky zkreslená směrem k pozitivním nálezům, což je jeden z důvodů, proč jsou replikace klíčové a proč existují praktiky jako předregistrování analytického plánu předtím, než se začnou data sbírat.

Nicméně jak jsem už zmiňoval, pokud v mém výzkumu provádím se svým týmem replikace, je to primárně k tomu, abychom zjistili, jak se odpovědi účastníků změnily v čase, v závislosti na probíhajícím mezinárodním dění. Řada lidí například po invazi Ukrajiny v únoru 2022 tvrdila, že ruské jaderné výhružky dramaticky oslabily mezinárodní normu proti používání jaderných zbraní, neboli takzvané jaderné tabu. My se skrze replikaci experimentů provedených před invazí pokoušíme zjistit, zda této tezi skutečně odpovídá změna v postojích jednotlivců.

V rámci projektu jsme nejprve stanovili transparentní kritéria pro zahrnutí jednotlivých studií do replikačního poolu, následně získali podkladové materiály, data a replikační kód. Nyní se snažíme každou vybranou studii zreplikovat dle původního postupu a statisticky ověřit, zda skutečně došlo ke změně odpovídající našim předregistrovaným hypotézám.

Nakolik je právě otevřený přístup k datům podmínkou pro to, aby bylo možné podobné studie nezávisle ověřovat? Byla by replikace výzkumu bez otevřené vědy vůbec možná?

Replikaci je v principu možné provést vždy, když máte dané podklady k dispozici – jinými slovy, pokud je se mnou soukromě nasdílí původní autor, mohu danou replikaci provést i když nejsou veřejně k dispozici. Nicméně v praxi je to velmi problematické; autoři nejsou vždy ochotni data a replikační kód sdílet, ať už z jakéhokoliv důvodu. Otevřené sdílení dat tak významným způsobem napomáhá transparentnosti a důvěryhodnosti vědy jako celku.

Co tě při replikacích publikovaných studií překvapilo nejvíc? Jsou nějaké problémy, ať už metodické chyby, odlišné analytické postupy, případně jiné, které se napříč různými výzkumy opakují?

Odlišnost analytických postupů není problém. Hlavním zádrhelem jsou zcela jiné standardy ohledně toho, co vlastně sdílet a jakým způsobem. Řada autorů například formálně splní podmínku časopisu nahrát data a replikační kód, ale v rámci tohoto balíčku zcela chybí kódovací kniha nebo obecně jakýkoliv podobnější popis toho, co znamenají jednotlivé proměnné v datasetu. Jindy zase chybí popis důležité části dotazníku, což znemožňuje výzkum zopakovat jedna k jedné. Už se nám i stalo, že jsme teprve z nahraného datasetu zjistili, že ve studii byly i další experimentální skupiny, které daný článek vůbec nezmiňuje – to je velmi problematická výzkumná praxe.   

Když se ukáže, že některé závěry nejsou tak robustní, jak se původně zdálo, může to být vnímáno negativně, například jako útok na autory studie. Není ale právě schopnost průběžně ověřovat výsledky jednou z největších předností vědy? 

Minimálně pro mě určitě ano, v rámci kvantitativního výzkumu by replikace a ověřování výsledků měly být jedním z pilířů fungování vědy a určitě by to nemělo být bráno jako nějaká forma útoku.

Rád bych nicméně zdůraznil, že v rámci vědeckého poznání existují přístupy založené na zcela jiných epistemologických předpokladech než na těch, na kterých stojí experimentální výzkum, kterému se věnuji já. Celá řada interpretativních přístupů v sociálních a humanitních vědách nestojí na formálním testování hypotéz, sběru kvantitativních dat a přímé replikovatelnosti. To neznamená, že by tyto přístupy měly v principu menší přínos než typ výzkumu, kterému se věnuji já; jsou jednoduše založeny na jiném přístupu k poznávání světa a snažit se na ně uplatňovat stejné požadavky ohledně „replikovatelnosti“ nedává v kontextu jejich ontologických a epistemologických předpokladů valný smysl.

Co nám dnešní vlna replikačních studií říká o stavu moderní vědy, nebo konkrétněji, o stavu oboru, ve kterém pracuješ?

Na jednu stranu nám to hodně říká o problematičnosti dlouhodobých incentivů a praktik v rámci vědecké praxe, které v důsledku vedou k publikaci studií založených na vyfabrikovaných, zmanipulovaných nebo selektivně reportovaných datech, případně nedostatečnému ověřování, že efekt nalezený v některé studii není pouze dílem náhody.

Nicméně můžeme na to koukat i z té pozitivní stránky: právě ze strany vědců zde přichází sebekorekční mechanismus, který má tyto problémy řešit. To, že jsme vůbec byli schopni identifikovat a pojmenovat replikační krizi a hledat nástroje, jak těmto problematickým postupům do budoucna co nejlépe bránit, je dobrá zpráva.

Generativní AI dokáže výrazně urychlit části vědecké práce. Poroste podle tebe s jejím rozvojem i tlak na nezávislé ověřování výsledků a replikaci výzkumu?

Ano, jakkoliv umělá inteligence nabízí výzkumníkům spoustu zajímavých nástrojů, bohužel s sebou přináší i značné množství externalit. Mnoho editorů a editorek odborných časopisů si dnes stěžuje na záplavu AI-generovaných článků, které nesplňují standardy výzkumu, ale významně zatěžují už tak velmi špatně fungující recenzní systém. Nacházíme se v tomto ohledu v dost volatilním období, kdy systém zatím nebyl schopen se adaptovat na probíhající technologickou změnu a teprve se hledají nová společná pravidla a principy dalšího fungování.