Британские ученые объяснили феномен «британских ученых»

Исследователи из университетов Бристоля и Эксетера выяснили возможную причину появления большого количества научных работ низкого качества, с маленькими выборками и не воспроизводимыми результатами. Источниками проблемы они назвали критерии грантодателей и желание научных журналов публиковать работы, открывающие новые, неожиданные эффекты. Исследование опубликовано в журнале PLoS Biology.

Воспроизводимость — один из важнейших критериев научных результатов. Он определяет то, является ли какой-либо эффект, замеченный учеными, общей закономерностью, или же это просто случайность. Традиционно ее оценивают методами статистики, используя большие выборки данных. Один из параметров, p-уровень, показывает то, какова вероятность получить случайно тот же эффект, который наблюдался авторами при условии, что на самом деле никакого эффекта нет.

Авторы новой работы попытались выяснить, в чем причина появления «некачественных» статей. Они учли, что один из видов мотивации для ученого — материальное поощрение, в том числе зарплата и гранты. Это поощрение часто зависит от наличия публикаций в качественных журналах. Ученому нужно распределить свои силы между поисками новых эффектов и подтверждением уже известных, а также определить, насколько глубоко должно быть проработано исследование, какой размер статистической выборки будет достаточен.

Исследователи построили математическую модель, которая определяла оптимальный выбор для ученого-«карьериста». Модель была основана на требованиях грантовых комитетов и включала в себя дополнительный «бонус» ученому за работы с большой долей новизны. Оказалось, что с ростом «бонуса» за новизну ученый вкладывает больше сил в поиск новых эффектов, а не в подтверждение старых. Начиная с некоторой величины «бонуса», доля работ-подтверждений падает до нуля. Ученый оказывается в ситуации, когда для поощрения требуется выполнять как можно больше поверхностных работ с небольшой статистической мощностью — это увеличивает шанс ложноположительных результатов.

Исследователи предлагают несколько методов борьбы с проблемой некачественных статей. В первую очередь, нужно повысить требования к статистическим выборкам и обработке результатов. По словам авторов, самым полезным для научного прогресса будет сочетание поисковых работ и крупных работ-подтверждений. «Наше исследование позволяет предположить, что ученые будут выбирать такую стратегию, если фонды и комитеты будут вознаграждать их за хорошую метрологию и важные вопросы, а не за неожиданные находки и будоражащие интерпретации» — заключает Эндрю Хиггинсон, психолог из Эксетерского университета.

Понятие «британские ученые» часто ассоциируется с необычными и зачастую сомнительными работами, проводящими взаимосвязь между не связанными явлениями. В 2012 году исследователи из Великобритании отметили, что у британской науки есть проблемы с качеством.