Недействительная наука - Invalid science

Не путать с лженаука.

Недействительная наука состоит из научных утверждений, основанных на экспериментах, которые невозможно воспроизвести, или которые опровергаются экспериментами, которые могут быть воспроизведены. Недавний анализ показывает, что доля отозванных претензий в научной литературе неуклонно растет.[1] Количество ретрактов выросло в десять раз за последнее десятилетие, но они по-прежнему составляют примерно 0,2% от 1,4 млн статей, ежегодно публикуемых в научных журналах.[2]

Соединенные штаты. Управление честности исследований (ORI), расследует неправомерные научные действия.[3]

Заболеваемость

Научный журнал занимает первое место по количеству отозванных статей (70 статей) PNAS, который отозвал 69. Тридцать два отзыва Science были связаны с мошенничеством или предполагаемым мошенничеством, а 37 - по ошибке. Последующий «индекс отзыва» показал, что журналы с относительно высокими импакт-факторами, такие как Science, Природа и Ячейка, было больше отзывов. Менее 0,1% статей в PubMed В 1940-х годах было отозвано более 25 миллионов документов.[3][4]

Согласно исследованиям 2047 статей, опубликованных с 1977 года, доля отозванных статей из-за неправомерного научного поведения оценивается в две трети. К неправомерным действиям относятся мошенничество и плагиат. Еще пятая часть была отозвана из-за ошибок, а остальные были отозваны по неизвестным или другим причинам.[3]

В отдельном исследовании было проанализировано 432 заявления о генетических связях для различных рисков для здоровья, которые различаются у мужчин и женщин. Только одно из этих утверждений оказалось стабильно воспроизводимым. Другой метаобзор показал, что из 49 наиболее цитируемых клинических исследований, опубликованных в период с 1990 по 2003 год, более 40 процентов из них позже оказались либо полностью ошибочными, либо существенно неверными.[5][6]

Биологические науки

В 2012 году биотехнологическая фирма Amgen смог воспроизвести только шесть из 53 важных исследований в исследования рака. Ранее группа в Байер фармацевтическая компания успешно повторила только четверть из 67 важных документов. В 2000–2010 годах около 80 000 пациентов приняли участие в клинических испытаниях, основанных на исследованиях, которые позже были отозваны из-за ошибок или несоответствий.[1]

Палеонтология

Натан Мхирвольд неоднократно не удавалось повторить выводы нескольких работ о росте динозавров. Каждый год динозавры добавляли слой к своим костям. тиранозавр Рекс считалось, что его размер увеличивался более чем на 700 кг в год, пока Мгирвольд не показал, что это вдвое больше. В 4 из 12 работ, которые он изучил, исходные данные были потеряны. В трех случаях статистика была верной, а в трех были допущены серьезные ошибки, которые опровергли их выводы. Две статьи ошибочно полагались на данные этих трех. Он обнаружил, что некоторые графики в статье не отражают данные. В одном случае он обнаружил, что только четыре из девяти точек на графике получены из данных, цитируемых в статье.[7]

Основные опровержения

Торцетрапиб изначально разрекламировался как препарат, блокирующий белок, преобразующий Холестерин HDL в ЛПНП с потенциалом «переопределить лечение сердечно-сосудистой системы». Один клиническое испытание показали, что препарат может повышать ЛПВП и снижать ЛПНП. Через два дня после Pfizer объявил о своих планах по лекарству, он завершил клинические испытания фазы III из-за более высоких показателей боли в груди и сердечной недостаточности и 60-процентного увеличения общей смертности. Pfizer инвестировал более 1 миллиарда долларов в разработку препарата.[5]

Углубленный обзор наиболее цитируемых биомаркеров (присутствие которых используется для вывода о болезни и измерения эффектов лечения) показал, что 83 процента предполагаемых корреляций стали значительно слабее в последующих исследованиях. Гомоцистеин это аминокислота, уровень которой коррелирует с сердечными заболеваниями. Однако исследование 2010 года показало, что снижение уровня гомоцистеина почти на 30 процентов не повлияло на сердечный приступ или инсульт.[5]

Грунтовка

Грунтовка исследования утверждают, что на решения могут влиять явно не относящиеся к делу события, свидетелями которых является субъект непосредственно перед тем, как сделать выбор. Лауреат Нобелевской премии Даниэль Канеман утверждает, что многое из этого плохо обосновано. Исследователи не смогли воспроизвести некоторые из наиболее широко цитируемых примеров. Бумага в PLoS ONE[8] сообщил, что девять отдельных экспериментов не смогли воспроизвести исследование, целью которого было показать, что размышление о профессоре перед прохождением теста на интеллект приводит к более высокому баллу, чем представление футбольного хулигана.[2] Дальнейшее систематическое повторение с участием 40 различных лабораторий по всему миру не повторило основной результат.[9] Однако это последнее систематическое воспроизведение показало, что участники, которые не думали, что существует связь между мыслями о хулигане или профессоре, значительно более восприимчивы к манипуляциям с праймингом.

Возможные причины

Соревнование

В 1950-х годах, когда академические исследования ускорились во время холодная война, общее количество ученых составило несколько сотен тысяч человек. В новом веке 6-7 млн. Исследователей активно. Количество исследовательских работ не соответствовало этому увеличению. Каждый год за каждую академическую должность соревнуются шесть новых кандидатов наук. Воспроизведение результатов других исследователей не считается ценным. Борьба за конкуренцию способствует преувеличению результатов и необъективному отбору данных. Недавний опрос показал, что каждый третий исследователь знает коллегу, который хотя бы несколько исказил их результаты.[1]

Предвзятость публикации

Крупные журналы отклоняют более 90% поданных рукописей и склонны отдавать предпочтение наиболее драматичным заявлениям. Статистические меры, которые исследователи используют для проверки своих утверждений, позволяют признать часть ложных утверждений действительными. Недействительные утверждения с большей вероятностью будут драматичными (потому что они ложны). Без репликации такие ошибки с меньшей вероятностью будут обнаружены.[1]

И наоборот, случаи неудачного доказательства гипотезы редко даже предлагаются для публикации. «Отрицательные результаты» сейчас составляют только 14% опубликованных статей, по сравнению с 30% в 1990 году. Знание того, что не соответствует действительности, так же важно, как и то, что является правдой.[1]

Экспертная оценка

Экспертная оценка это основной метод проверки, используемый в научных публикациях. Однако известный медицинский журнал протестировал систему и обнаружил серьезные недостатки. Он предоставил исследования с индуцированными ошибками и обнаружил, что большинство рецензентов не могли обнаружить ошибки даже после того, как им сообщили о тестах.[1]

Фальсифицированная статья под псевдонимом о влиянии химического вещества, полученного из лишайника, на раковые клетки была отправлена ​​в 304 журнала для экспертной оценки. Документ был полон ошибок дизайна исследования, анализа и интерпретации. Его приняли 157 журналов с низкими рейтингами. Другое исследование разослало статью, содержащую восемь преднамеренных ошибок в дизайне, анализе и интерпретации исследования, более чем 200 из Британский медицинский журнал Постоянные обозреватели. В среднем они сообщили менее чем о двух проблемах.[2]

Рецензенты обычно не проводят повторный анализ данных с нуля, проверяя только то, что анализ авторов правильно составлен.[2]

Статистика

Ошибки типа I и типа II

Ученые делят ошибки на тип I, неверно утверждающий истинность гипотезы (ложноположительный результат) и тип II, отклоняющий правильную гипотезу (ложноотрицательный). Статистические проверки оценивают вероятность того, что данные, которые, кажется, подтверждают гипотезу, появляются просто случайно. Если вероятность меньше 5%, свидетельство оценивается как «статистически значимое». Одно из определяющих последствий - это частота ошибок первого типа, равная одной 20.[2]

Статистическая мощность

В 2005 году в Стэнфорде эпидемиолог Джон Иоаннидис показал, что представление о том, что только одна из 20 статей дает ложноположительный результат, неверно. Он утверждал, что «большинство опубликованных результатов исследований, вероятно, ложны». Он обнаружил три категории проблем: недостаточные »статистическая мощность ”(Избегая ошибок типа II); неправдоподобность гипотезы; и предвзятость публикации в пользу новых заявлений.[2]

Статистически мощное исследование выявляет факторы, оказывающие лишь небольшое влияние на данные. В целом исследования с большим количеством повторений, в которых эксперимент проводится больше раз на большем количестве испытуемых, имеют большую силу. Степень 0,8 означает, что из десяти проверенных истинных гипотез эффект двух не учитывается. Иоаннидис обнаружил, что в неврологии типичная статистическая мощность составляет 0,21; другое исследование показало, что по психологии в среднем 0,35.[2]

Подлинность - это мера степени неожиданности результата. Ученые предпочитают неожиданные результаты, ведущие их к проверке гипотез, которые маловероятны. Иоаннидис утверждал, что в эпидемиологии примерно одна из десяти гипотез должна быть верной. В исследовательских дисциплинах, таких как геномика, которые полагаются на изучение обширных данных о генах и белках, только один из тысячи должен оказаться правильным.[2]

В дисциплине, в которой верны 100 из 1000 гипотез, исследования со степенью 0,8 найдут 80 и пропустят 20. Из 900 неверных гипотез 5% или 45 будут приняты из-за ошибок типа I. Добавление 45 ложных срабатываний к 80 истинным срабатываниям дает 125 положительных результатов, или 36% ложных результатов. Снижение статистической мощности до 0,4, оптимистичное для многих областей, все равно приведет к 45 ложным срабатываниям, но только 40 истинным срабатываниям, менее половины.[2]

Отрицательные результаты более надежны. Статистическая мощность 0,8 дает 875 отрицательных результатов, из которых только 20 ложны, что дает точность более 97%. Однако отрицательные результаты составляют меньшинство опубликованных результатов, различающихся в зависимости от дисциплины. Исследование 4600 статей показало, что доля опубликованных отрицательных результатов упала с 30% до 14% в период с 1990 по 2007 год.[2]

Субатомная физика устанавливает приемлемую частоту ложных срабатываний - один на 3,5 миллиона (известная как стандарт пяти сигм ). Однако даже это не обеспечивает идеальной защиты. Проблема делает недействительными около 3/4 машинное обучение исследования по одному обзору.[2]

Статистическая значимость

Статистическая значимость мера для тестирования статистическая корреляция. Его изобрел английский математик. Рональд Фишер в 1920-е гг. Он определяет «значимый» результат как любую точку данных, которая может быть получена случайно менее чем в 5 (или, более строго, 1) процентах случаев. Значительный результат широко рассматривается как важный показатель того, что корреляция не случайна.[5]

Хотя корреляции отслеживают взаимосвязь между действительно независимыми измерениями, такими как курение и рак, они намного менее эффективны, когда переменные не могут быть изолированы, что является обычным явлением в биологических системах. Например, статистика обнаружила высокую корреляцию между болью в пояснице и аномалиями в позвоночных дисках, хотя позже было обнаружено, что серьезные аномалии присутствовали у двух третей пациентов без боли.[5]

Минимальный порог издателей

Такие журналы, как PLoS One, используют стандарт «минимального порога», стремясь опубликовать как можно больше научных данных, а не выбирать лучшие работы. Их рецензенты оценивают только то, является ли статья методологически обоснованной. Почти половина их представлений по-прежнему отклоняется на этом основании.[2]

Неопубликованные исследования

Только 22% клинические испытания финансируется Национальные институты здоровья (NIH) опубликовал сводные результаты в течение одного года после завершения, хотя NIH требует этого. Менее половины опубликовано в течение 30 месяцев; третья осталась неопубликованной через 51 месяц.[2] Когда другие ученые полагаются на недействительные исследования, они могут тратить время на исследования, которые сами по себе недействительны. Неспособность сообщить о неудачах означает, что исследователи тратят деньги и усилия на изучение тупиков, уже исследованных другими учеными.[1]

Мошенничество

В 21 опросе ученых (в основном в биомедицинских науках, но также в области гражданского строительства, химии и экономики), проведенном между 1987 и 2008 годами, 2% признали сфабрикованные данные, но 28% заявили, что знают коллег, которые занимались сомнительной исследовательской практикой.[2]

Отсутствие доступа к данным и программному обеспечению

Клинические испытания, как правило, слишком дороги для повторного проведения. Доступ к данным испытаний - единственный практический подход к переоценке. Кампания, направленная на то, чтобы убедить фармацевтические компании сделать доступными все данные испытаний, впервые привлекла внимание в феврале 2013 г., когда GlaxoSmithKline стал первым, кто согласился.[2]

Программное обеспечение, используемое в испытании, обычно считается частной интеллектуальной собственностью и недоступно для репликаторов, что еще больше усложняет ситуацию. Журналы, настаивающие на совместном использовании данных, обычно не делают того же в отношении программного обеспечения.[2]

Даже хорошо написанные статьи могут не содержать достаточных деталей и / или неявных знаний (тонкие навыки и импровизация, которые не считаются заметными) для успешного воспроизведения. Одна из причин сбоя репликации - недостаточный контроль над протоколом, что может вызвать разногласия между исходными и копирующими исследователями.[2]

Реформа

Статистика обучения

Генетики начали более тщательные обзоры, особенно в отношении использования статистических методов. Эффект заключался в том, чтобы остановить поток ложных результатов от секвенирование генома.[1]

Регистрация протокола

Заблаговременная регистрация протоколов исследования и их мониторинг в ходе исследования может помешать исследователям изменять промежуточный протокол для выделения предпочтительных результатов. Предоставление необработанных данных другим исследователям для проверки и тестирования также может лучше привлечь внимание исследователей.[1]

Обзор после публикации

Замена экспертной оценки оценкой после публикации может побудить исследователей больше задуматься о долгосрочных последствиях чрезмерных или необоснованных утверждений. Эта система была принята в физике и математике с хорошими результатами.[1]

Репликация

Некоторые исследователи, особенно младшие сотрудники, ищут возможности воспроизвести работу других, отчасти для защиты отношений со старшими исследователями.[2]

Воспроизведение выигрывает от доступа к оригинальным методам и данным исследования. Более половины из 238 биомедицинских статей, опубликованных в 84 журналах, не смогли определить все ресурсы (например, химические реактивы), необходимые для воспроизведения результатов. В 2008 году около 60% исследователей заявили, что поделятся необработанными данными; в 2013 году - 45%. Журналы начали требовать, чтобы были доступны хотя бы некоторые необработанные данные, хотя только 143 из 351 случайно выбранных статей, подпадающих под какую-либо политику совместного использования данных, действительно соблюдали.[2]

Инициатива воспроизводимости - это услуга, позволяющая ученым-биологам платить за подтверждение своей работы независимой лабораторией. В октябре 2013 года эта инициатива получила финансирование на обзор 50 наиболее значимых результатов исследований рака, опубликованных в период с 2010 по 2012 год. Блог Syn - это веб-сайт аспирантов, посвященный воспроизведению химических реакций, описанных в статьях.[2]

В 2013 г. усилиям по тиражированию уделялось больше внимания. Природа и связанные публикации представили контрольный список из 18 пунктов для авторов наук о жизни в мае,[10] в своих усилиях по обеспечению возможности воспроизведения опубликованных исследований. Расширенные разделы «методы» и все данные должны были быть доступны онлайн. Центр открытой науки открылся как независимая лаборатория по тиражированию. В журнале «Перспективы психологической науки» объявлен раздел, посвященный репликациям. Другой проект объявил о планах воспроизвести 100 исследований, опубликованных за первые три месяца 2008 года в трех ведущих психологических журналах.[2]

Основные спонсоры, включая Европейский исследовательский совет, Соединенные штаты Национальный научный фонд и Исследовательские советы Великобритании не изменили своего предпочтения новой работе над репликацией.[2]

Смотрите также

использованная литература

  1. ^ а б c d е ж г час я j «Проблемы с научными исследованиями: как наука идет не так». Экономист. 2013-10-19. Получено 2013-10-19.
  2. ^ а б c d е ж г час я j k л м п о п q р s т ты v «Ненадежное исследование: проблемы в лаборатории». Экономист. 2013-10-19. Получено 2013-10-22.
  3. ^ а б c "Плохое поведение, а не ошибки, вызывают большинство отзывов научных статей | Наука / AAAS | Новости". News.sciencemag.org. 2012-10-01. Получено 2013-10-19.
  4. ^ Fang, F.C .; Steen, R.G .; Касадеваль, А. (2012). «На неправомерные действия приходится большая часть отозванных научных публикаций». Труды Национальной академии наук. 109 (42): 17028–33. Дои:10.1073 / pnas.1212247109. ЧВК  3479492. PMID  23027971.
  5. ^ а б c d е Лерер, Иона (16 декабря 2011 г.). «Испытания и ошибки: почему наука нас подводит». Проводной. Получено 22 октября 2013.
  6. ^ «Часто цитируемые исследования часто опровергаются». Medscape.com. Получено 2013-10-22.
  7. ^ Аноним (21.12.2013). «Палеонтология: кость на выбор». Экономист. Получено 2014-04-17.
  8. ^ Шанкс, Дэвид Р .; Ньюэлл, Бен Р .; Ли, Ын Хи; Балакришнан, Дивья; Экелунд, Лиза; Cenac, Zarus; Каввадия, Фрагкиски; Мур, Кристофер (24 апреля 2013 г.). "Прайминг интеллектуального поведения: неуловимый феномен". PLOS ONE. 8 (4): e56515. Дои:10.1371 / journal.pone.0056515. ISSN  1932-6203. ЧВК  3634790. PMID  23637732.
  9. ^ О’Доннелл, Майкл; Нельсон, Лейф Д .; Аккерманн, Эви; Акзель, Балаш; Ахтар, Атфа; Альдрованди, Сильвио; Альшаиф, Нассим; Андринга, Рональд; Авеард, Марк; Бабинчак, Питер; Балатекин, Нурсена (21.02.2018). «Отчет о зарегистрированной репликации: Дейкстерхейс и ван Книппенберг (1998)» (PDF). Перспективы психологической науки. 13 (2): 268–294. Дои:10.1177/1745691618755704. ISSN  1745-6916. PMID  29463182. S2CID  3423830.
  10. ^ Контрольный список отчетности для статей о естественных науках

внешние ссылки