Ocena nauki za pomocą sztucznej inteligencji: przewidywanie wiarygodności badań

10

Naukowcy publikują co roku ponad 10 milionów prac naukowych, ale nie wszystkie wyniki są godne zaufania. Wyzwanie polega na szybkiej identyfikacji wiarygodnych badań, zanim zasoby zostaną zmarnowane lub podjęte zostaną złe decyzje. Przez wiele lat recenzowanie i odtwarzalność były uważane za standardy, ale oba procesy są powolne i kosztowne.

Projekt SCORE finansowany przez DARPA

W 2017 r. Agencja Zaawansowanych Projektów Badawczych w dziedzinie Obronności (DARPA) uruchomiła projekt Systematizing Confidence in Open Research and Evidence (SCORE). Celem projektu kierowanego przez Adama Russella było opracowanie systemów sztucznej inteligencji zdolnych do przewidywania długoterminowej ważności badania zanim zostanie ono powtórzone. Projekt polegał na stworzeniu „oceny kredytowej” dla artykułów naukowych, aby decydenci mogli szybko ocenić ich wiarygodność.

Jak to działa

Systemy AI analizują nową literaturę naukową przy użyciu nieujawnionych wskaźników. Podstawowa metodologia pozostaje niejasna, chociaż prawdopodobnie obejmuje gromadzenie danych, modelowanie statystyczne i prawdopodobnie analizę sieci cytowań. Założeniem jest, że wzorce w projektowaniu badań, metodologii i wczesnych badaniach przesiewowych mogą ujawnić słabe strony.

Dlaczego to jest ważne

Konsekwencje są znaczące. Rozsądna nauka stanowi podstawę polityki, medycyny i technologii. Przyspieszona ocena zmniejsza marnowanie zasobów na błędne badania. Jednakże istnieje również ryzyko. Nadmierne poleganie na sztucznej inteligencji może stłumić badania eksperymentalne lub zaostrzyć istniejące uprzedzenia w społeczności naukowej. Prawdziwym wyzwaniem jest zapewnienie przejrzystości i zapobieganie kontroli algorytmicznej.

„Celem nie jest eliminacja ryzyka, ale szybsze podejmowanie świadomych decyzji.” — Adam Russell, Uniwersytet Południowej Kalifornii

Projekt SCORE odzwierciedla szerszy trend: integrację uczenia maszynowego z weryfikacją naukową. Chociaż odtwarzalność pozostaje ważna, narzędzia oparte na sztucznej inteligencji będą prawdopodobnie odgrywać coraz ważniejszą rolę w określaniu, które badania zyskają na popularności, a które odejdą w zapomnienie.