Čo sa zmenilo
Udiali sa dve veci naraz. Randomizované kontrolované štúdie (RCT, z angl. randomised controlled trials) dosiahli svoj vrchol – Nobelova cena pre Banerjeeho, Duflovú a Kremera v roku 2019, rozmach J-PAL a IPA, mapy medzier v dôkazoch (evidence gap maps) organizácie 3ie – a zároveň sa teoreticky založená kauzálna inferencia sprofesionalizovala na dôveryhodnú alternatívu pre veľkú väčšinu intervencií, pri ktorých je randomizácia nemožná, neetická alebo jednoducho irelevantná.
Realistická evaluácia získala štandardy pre reportovanie (RAMESES II, 2016 – 2017). Process tracing (sledovanie procesov) spojila Barbara Befani s kolegami s bayesovskou aktualizáciou miery istoty („contribution tracing“, vychádzajúce z prípadovej štúdie Oxfamu v Ghane). Kvalitatívna komparatívna analýza (QCA, z angl. Qualitative Comparative Analysis) prešla praktickou skúškou v rozvojovej spolupráci.
Outcome harvesting („zber výsledkov“) dozrel z techniky na knihu (Wilson-Grau, 2018) a na prístup podporovaný donormi. Qualitative Impact Protocol (QuIP, kvalitatívny protokol dopadu) z Bath SDR ponúkol nízkonákladovú, „zaslepenú“ kvalitatívnu metódu atribúcie. Rubriky – vrátane „kontribučných rubrík“ a rubrík kvality dôkazov – sa stali spôsobom, ako expertný úsudok sprehľadniť namiesto toho, aby zostal skrytý.
Revisiting Contribution Analysis (2019) Johna Maynea ponechal kontribučnú analýzu v centre diania, ale prepojil ju s týmito novšími nástrojmi. Na kvantitatívnej strane sa metódy syntetickej kontroly a odhad heterogénnych efektov intervencie pomocou strojového učenia (kauzálne lesy) presunuli z ekonometrie do aplikovanej evaluácie.
Rámce a nástroje
- Realistická evaluácia a konfigurácie KMV (kontext – mechanizmus – výsledok, angl. CMO)
- process tracing s testami typu „hoop“, „smoking gun“ a „doubly decisive“
- bayesovská aktualizácia miery istoty a contribution tracing
- QCA
- outcome harvesting
- QuIP
- monitorovanie kauzálnych väzieb (causal link monitoring)
- kontribučné rubriky
- mapy medzier v dôkazoch
- plány analýzy vopred (pre-analysis plans) a predregistrácia
- syntetické kontroly
- kauzálne lesy
Pojmy, ktoré treba poznať
- Mechanizmus
- generatívna verzus sukcesionistická kauzalita
- malé n (small-n)
- kauzálna cesta
- hoop test
- smoking gun
- aktualizácia miery istoty
- mapa medzier v dôkazoch
- predregistrácia
- heterogénne efekty intervencie
- externá validita
- equipoise (klinická rovnováha)
- „randomista“
Otvorené kontroverzie
Článok Angusa Deatona a Nancy Cartwrightovej z roku 2018 zostáva referenčnou kritikou nadradenosti RCT: randomizácia poskytuje nevychýlený odhad priemerného efektu na jednom mieste a v jednom čase, no sama osebe hovorí málo o mechanizmoch či prenositeľnosti. Provokácie Lanta Pritchetta („debata sa skončila – my sme vyhrali, oni prehrali“) a text Martina Ravalliona „Should the Randomistas (Continue to) Rule?“ ohraničujú spor po udelení Nobelovej ceny; časopis World Development mu v roku 2020 venoval sympózium.
„Worm Wars“ (červie vojny) z roku 2015 – verejná reanalýza odčervovacej štúdie Miguela a Kremera – sa stali prípadovou štúdiou o replikácii, otvorených dátach a limitoch jednej štúdie. V tábore teoreticky založených metód sa skeptici pýtajú, či je bayesovská aktualizácia v process tracingu skutočnou rigoróznosťou alebo len rétorickým náterom, a či je závislosť outcome harvestingu od informátorov dostatočne triangulovaná. Pokiaľ ide o syntézu dôkazov, rast máp medzier a systematických prehľadov čelí kritike, že uprednostňuje tie typy intervencií, ktoré sa hodia na experimenty.
Ďalšie čítanie
- Angus Deaton a Nancy Cartwright, Understanding and misunderstanding randomized controlled trials (Porozumenie a neporozumenie randomizovaným kontrolovaným štúdiám), Social Science & Medicine, 2018 (voľne dostupný preprint).
- Martin Ravallion, Should the Randomistas (Continue to) Rule? (Mali by randomisti (naďalej) vládnuť?), Center for Global Development, 2018.
- Lant Pritchett, The Debate about RCTs in Development is Over. We Won. They Lost., 2018; Lant Pritchett a Justin Sandefur, Learning from Experiments When Context Matters (Učenie sa z experimentov, keď záleží na kontexte), American Economic Review, 2015.
- Berk Özler, Worm Wars: A Review of the Reanalysis of Miguel and Kremer's Deworming Study, blog Development Impact Svetovej banky, 2015.
- David Evans, The Role of Randomization in Development Research (book review) (recenzia knihy), Center for Global Development, 2021.
- Benjamin Olken, Promises and Perils of Pre-Analysis Plans (Prísľuby a úskalia plánov analýzy vopred), Journal of Economic Perspectives, 2015.
- Birte Snilstveit a kol., Evidence & Gap Maps: A tool for promoting evidence informed policy and strategic research agendas, Journal of Clinical Epidemiology, 2016; databáza máp medzier v dôkazoch organizácie 3ie.
- Barbara Befani a Gavin Stedman-Bryce, Process Tracing and Bayesian Updating for impact evaluation, Evaluation, 2017; Barbara Befani, Diagnostic evaluation and Bayesian Updating, Evaluation, 2020.
- Estelle Raimondo, Getting Practical With Causal Mechanisms: The application of process-tracing under real-world evaluation constraints, New Directions for Evaluation č. 167, 2020.
- Geoff Wong a kol., RAMESES II reporting standards for realist evaluations (štandardy reportovania realistických evaluácií), BMC Medicine, 2016.
- Valérie Pattyn, Astrid Molenveld a Barbara Befani, Qualitative Comparative Analysis as an Evaluation Tool, American Journal of Evaluation, 2019; Barbara Befani, Pathways to Change: Evaluating development interventions with QCA, EBA, 2016.
- BetterEvaluation, Outcome Harvesting a Qualitative Impact Protocol (QuIP); James Copestake, Marlies Morsink a Fiona Remnant, Attributing Development Impact: The QuIP Case Book, 2019 (otvorený prístup).
- John Mayne, Revisiting Contribution Analysis (Kontribučná analýza znovu na pretrase), Canadian Journal of Program Evaluation, 2019.
- Thomas Aston, Contribution Rubrics (Kontribučné rubriky), Medium, 2020; UK Evaluation Society, Quality of Evidence Rubrics for Single Cases (Rubriky kvality dôkazov pre jednotlivé prípady), 2024.
- Alberto Abadie, Using Synthetic Controls (Používanie syntetických kontrol), Journal of Economic Literature, 2021; Susan Athey a Guido Imbens, Machine Learning Methods That Economists Should Know About, Annual Review of Economics, 2019.