Вчені щорічно публікують понад 10 мільйонів наукових праць, проте не всі результати заслуговують на довіру. Завдання полягає в тому, щоб оперативно виявляти надійні дослідження, до того як будуть витрачені ресурси марно або прийняті помилкові рішення. Протягом багатьох років рецензування та відтворюваність вважалися стандартами, але обидва процеси повільні та дорогі.
Проект SCORE, що фінансується DARPA
У 2017 році Агентство передових дослідницьких проектів Міністерства оборони (DARPA) запустило проект Systematizing Confidence in Open Research and Evidence (SCORE) – “Систематизація довіри до відкритих досліджень та доказів”. Під керівництвом Адама Рассела мета проекту полягала у розробці систем ІІ, здатних передбачати довгострокову достовірність дослідження до його відтворення. Проект передбачав створення «кредитного рейтингу» для наукових праць, щоб особи, які приймають рішення, могли швидко оцінити їхню надійність.
Як це працює
Системи ІІ аналізують нову наукову літературу з використанням нерозкритих метриків. Основна методологія залишається неясною, хоча, ймовірно, вона включає збір даних, статистичне моделювання та, можливо, аналіз мереж цитування. Передумова у тому, що закономірності у дизайні дослідження, методології та ранній перевірці можуть виявити слабкі місця.
Чому це важливо
Наслідки є значними. Надійна наука є основою для політики, медицини та технологій. Прискорена оцінка знижує втрати ресурсів помилкові дослідження. Проте є ризики. Надмірна залежність від ІІ може придушити експериментальні дослідження чи посилити існуючі упередження у науковому співтоваристві. Реальна задача полягає у забезпеченні прозорості та запобіганні алгоритмічного контролю.
«Мета полягає не в тому, щоб усунути ризики, а в тому, щоб приймати зважені рішення швидше». – Адам Рассел, Університет Південної Каліфорнії
Проект SCORE відбиває ширшу тенденцію: інтеграцію машинного навчання у наукову перевірку. У той час як відтворюваність залишається важливою, інструменти на основі ІІ, ймовірно, відіграватимуть все більш важливу роль у визначенні того, які дослідження отримують визнання, а які зникають у небуття.
