Уровень ошибок в семье - Family-wise error rate

В статистика, частота ошибок в семье (FWER) это вероятность сделать одно или несколько ложных открытий, или ошибки типа I при выполнении проверка нескольких гипотез.

История

Tukey ввел термины экспериментальная частота ошибок и "коэффициент ошибок на эксперимент" чтобы указать частоту ошибок, которую исследователь может использовать в качестве контрольного уровня в эксперименте с множеством гипотез.^{[нужна цитата ]}

Фон

В рамках статистики существует несколько определений термина "семья":

• Хохберг и Тамане определили «семью» в 1987 году как «любую совокупность выводов, для которой имеет смысл принять во внимание некоторую комбинированную меру ошибки».^[1]
• Согласно Коксу в 1982 году, совокупность выводов следует рассматривать как семью:^{[нужна цитата ]}

1. Чтобы учесть эффект отбора за счет дноуглубительные работы
2. Обеспечить одновременную правильность ряда выводов, чтобы гарантировать правильное общее решение

Подводя итог, можно сказать, что семью лучше всего можно определить с помощью потенциального выборочного вывода, с которым приходится сталкиваться: семья - это наименьший набор элементов вывода в анализе, взаимозаменяемых в отношении их значения для цели исследования, из которого выбираются результаты для действий , презентация или выделение может быть сделано (Йоав Бенджамини ).^{[нужна цитата ]}

Классификация нескольких тестов гипотез

Основная статья: Классификация нескольких тестов гипотез

В следующей таблице определены возможные результаты при проверке нескольких нулевых гипотез. Предположим, у нас есть число м нулевых гипотез, обозначаемых: ЧАС₁, ЧАС₂, ..., ЧАС_м.Используя статистический тест, мы отклоняем нулевую гипотезу, если тест объявлен значимым. Мы не отклоняем нулевую гипотезу, если тест несущественен. Суммируя каждый тип результата по всем ЧАС_я дает следующие случайные величины:

	Нулевая гипотеза верна (H0)	Альтернативная гипотеза верна (HА)	Общий
Тест объявлен значимым	V	S	р
Тест объявлен несущественным	U	Т	${\displaystyle m-R}$
Общий	${\displaystyle m_{0}}$	${\displaystyle m-m_{0}}$	м

• м общее количество проверенных гипотез
• ${\displaystyle m_{0}}$ это число истинных нулевые гипотезы, неизвестный параметр
• ${\displaystyle m-m_{0}}$ это число истинных альтернативные гипотезы
• V это количество ложные срабатывания (ошибка типа I) (также называемые «ложными открытиями»)
• S это количество истинные положительные моменты (также называемые «истинными открытиями»)
• Т это количество ложноотрицательные результаты (ошибка типа II)
• U это количество истинные негативы
• ${\displaystyle R=V+S}$ это количество отклоненных нулевых гипотез (также называемых «открытиями», истинными или ложными)

В м гипотезы проверки которых ${\displaystyle m_{0}}$ верны нулевые гипотезы, р - наблюдаемая случайная величина, а S, Т, U, и V ненаблюдаемы случайные переменные.

Определение

FWER - это вероятность сделать хотя бы один ошибка типа I в семье,

${\displaystyle \mathrm {FWER} =\Pr(V\geq 1),\,}$

или эквивалентно,

${\displaystyle \mathrm {FWER} =1-\Pr(V=0).}$

Таким образом, заверив ${\displaystyle \mathrm {FWER} \leq \alpha \,\!\,}$, вероятность сделать один или несколько ошибки типа I в семье контролируется на уровне ${\displaystyle \alpha \,\!}$.

Процедура контролирует FWER в слабом смысле если регулятор FWER на уровне ${\displaystyle \alpha \,\!}$ гарантировано Только когда все нулевые гипотезы верны (т.е. когда ${\displaystyle m_{0}=m}$, что означает, что «глобальная нулевая гипотеза» верна).^[2]

Процедура контролирует FWER в сильном смысле если регулятор FWER на уровне ${\displaystyle \alpha \,\!}$ гарантировано для любой конфигурация истинных и ложных нулевых гипотез (независимо от того, верна ли глобальная нулевая гипотеза).^[3]

Контрольные процедуры

Для более широкого освещения этой темы см. Коррекция множественного тестирования.

Смотрите также: Уровень ложного охвата § Процедуры контроля, и Частота ложного обнаружения § Процедуры контроля

Дальнейшая информация: Список постфактум тесты

Некоторые классические решения, обеспечивающие высокий уровень ${\displaystyle \alpha }$ FWER control, и существуют некоторые новые решения.

Процедура Бонферрони

Основная статья: Коррекция Бонферрони

• Обозначим через ${\displaystyle p_{i}}$ то п-значение для тестирования ${\displaystyle H_{i}}$
• отклонять ${\displaystyle H_{i}}$ если ${\displaystyle p_{i}\leq {\frac {\alpha }{m}}}$

Процедура Шидака

Основная статья: Поправка Шидака

• Проверка каждой гипотезы на уровне ${\displaystyle \alpha _{SID}=1-(1-\alpha )^{\frac {1}{m}}}$ это процедура множественного тестирования Сидака.
• Эта процедура более эффективна, чем у Бонферрони, но выигрыш невелик.
• Эта процедура может не контролировать FWER, если тесты имеют отрицательную зависимость.

Процедура Тьюки

Основная статья: Тест дальности Тьюки

• Процедура Тьюки применима только для попарные сравнения.
• Он предполагает независимость тестируемых наблюдений, а также равную вариацию между наблюдениями (гомоскедастичность ).
• Процедура вычисляет для каждой пары стьюдентизированный диапазон статистика: ${\displaystyle {\frac {Y_{A}-Y_{B}}{SE}}}$ куда ${\displaystyle Y_{A}}$ является большим из двух сравниваемых средств, ${\displaystyle Y_{B}}$ меньше, и ${\displaystyle SE}$ стандартная ошибка рассматриваемых данных.^{[нужна цитата ]}
• Тест Тьюки по сути T-тест Стьюдента, за исключением того, что он исправляет уровень ошибок в семье.^{[нужна цитата ]}

Процедура понижения Холма (1979)

Основная статья: Метод Холма – Бонферрони

• Начните с заказа п-значения (от наименьшего к наибольшему) ${\displaystyle P_{(1)}\ldots P_{(m)}}$ и пусть связанные гипотезы будут ${\displaystyle H_{(1)}\ldots H_{(m)}}$
• Позволять ${\displaystyle k}$ - минимальный индекс такой, что ${\displaystyle P_{(k)}>{\frac {\alpha }{m+1-k}}}$
• Отвергнуть нулевые гипотезы ${\displaystyle H_{(1)}\ldots H_{(k-1)}}$. Если ${\displaystyle k=1}$ тогда ни одна из гипотез не отвергается.^{[нужна цитата ]}

Эта процедура неизменно более эффективна, чем процедура Бонферрони.^[4] Причина, по которой эта процедура контролирует частоту ошибок на уровне семьи для всех m гипотез на уровне α в строгом смысле, заключается в том, что это закрытая процедура тестирования. Таким образом, каждое пересечение проверяется с помощью простого теста Бонферрони.^{[нужна цитата ]}

Повышающая процедура Хохберга

Процедура повышения Хохберга (1988 г.) выполняется с использованием следующих шагов:^[5]

• Начните с заказа п-значения (от наименьшего к наибольшему) ${\displaystyle P_{(1)}\ldots P_{(m)}}$ и пусть связанные гипотезы будут ${\displaystyle H_{(1)}\ldots H_{(m)}}$
• Для данного ${\displaystyle \alpha }$, позволять ${\displaystyle R}$ быть самым большим ${\displaystyle k}$ такой, что ${\displaystyle P_{(k)}\leq {\frac {\alpha }{m-k+1}}}$
• Отвергнуть нулевые гипотезы ${\displaystyle H_{(1)}\ldots H_{(R)}}$

Процедура Хохберга более действенна, чем процедура Холмса. Тем не менее, в то время как Holm’s является закрытой процедурой тестирования (и, таким образом, как Bonferroni, не имеет ограничений на совместное распределение тестовой статистики), Hochberg's основан на тесте Саймса, поэтому он работает только при неотрицательной зависимости.^{[нужна цитата ]}

Исправление Даннета

Основная статья: Тест Даннета

Чарльз Даннетт (1955, 1966) описал альтернативную корректировку альфа-ошибки, когда k группы сравнивают с той же контрольной группой. Теперь известный как тест Даннета, этот метод менее консервативен, чем корректировка Бонферрони.^{[нужна цитата ]}

Метод Шеффе

Основная статья: Метод Шеффе

Процедуры повторной выборки

Процедуры Бонферрони и Холма управляют FWER при любой структуре зависимости п-значения (или, что то же самое, статистика отдельных тестов). По сути, это достигается за счет приспособления к структуре зависимости "наихудшего случая" (которая близка к независимости для большинства практических целей). Но такой подход является консервативным, если зависимость действительно положительная. В качестве крайнего примера, при абсолютной положительной зависимости фактически существует только один тест, и, следовательно, FWER не накачан.

Учет структуры зависимости п-values ​​(или отдельной тестовой статистики) производит более мощные процедуры. Это может быть достигнуто путем применения методов повторной выборки, таких как методы начальной загрузки и перестановки. Процедура Вестфолла и Янга (1993) требует определенного условия, которое не всегда выполняется на практике (а именно, поворотности подмножества).^[6] Процедуры Романо и Вольфа (2005a, b) обходятся без этого условия и, таким образом, более применимы.^[7][8]

Гармоническое среднее п-значение процедуры

Основная статья: Гармоническое среднее значение p

Гармоническое среднее п-значение (HMP) процедура^[9][10] предоставляет многоуровневый тест, который улучшает мощность коррекции Бонферрони, оценивая значимость группы гипотез, контролируя при этом частоту серьезных семейных ошибок. Значение любого подмножества ${\textstyle {\mathcal {R}}}$ из ${\textstyle m}$ тесты оцениваются путем расчета HMP для подмножества,

$${\displaystyle {\overset {\circ }{p}}_{\mathcal {R}}={\frac {\sum _{i\in {\mathcal {R}}}w_{i}}{\sum _{i\in {\mathcal {R}}}w_{i}/p_{i}}},}$$

куда ${\textstyle w_{1},\dots ,w_{m}}$ веса, сумма которых равна единице (т. е. ${\textstyle \sum _{i=1}^{m}w_{i}=1}$). Приблизительная процедура, которая контролирует частоту серьезных семейных ошибок на уровне приблизительно ${\textstyle \alpha }$ отвергает нулевую гипотезу о том, что ни один из п-значения в подмножестве ${\textstyle {\mathcal {R}}}$ имеют значение, когда ${\textstyle {\overset {\circ }{p}}_{\mathcal {R}}\leq \alpha \,w_{\mathcal {R}}}$ (куда ${\textstyle w_{\mathcal {R}}=\sum _{i\in {\mathcal {R}}}w_{i}}$). Это приближение разумно для малых ${\textstyle \alpha }$ (например. ${\textstyle \alpha <0.05}$) и становится произвольно хорошим как ${\textstyle \alpha }$ приближается к нулю. Также доступен асимптотически точный тест (см. основная статья ).

Альтернативные подходы

Дальнейшая информация: Уровень ложного обнаружения

Контроль FWER обеспечивает более строгий контроль над ложным обнаружением по сравнению с процедурами ложного обнаружения (FDR). Управление FWER ограничивает вероятность хотя бы один ложное открытие, тогда как контроль FDR ограничивает (в широком смысле) ожидаемую долю ложных открытий. Таким образом, процедуры FDR имеют больше мощность за счет повышения ставок тип I ошибки, т. е. отклонение нулевых гипотез, которые действительно верны.^[11]

С другой стороны, контроль FWER менее строг, чем контроль частоты ошибок для каждого семейства, что ограничивает ожидаемое количество ошибок на семейство. Поскольку управление FWER связано с хотя бы один ложное открытие, в отличие от контроля частоты ошибок для каждой семьи, он не рассматривает несколько одновременных ложных открытий как нечто худшее, чем одно ложное открытие. В Коррекция Бонферрони часто рассматривается как просто управление FWER, но на самом деле также контролирует частоту ошибок в семействе.^[12]

Рекомендации

1. Hochberg, Y .; Тамане, А. С. (1987). Множественные процедуры сравнения. Нью-Йорк: Вили. п.5. ISBN  978-0-471-82222-6.
2. Дмитриенко, Алексей; Тамхане, Аджит; Бретц, Франк (2009). Множественные проблемы тестирования в фармацевтической статистике (1-е изд.). CRC Press. п. 37. ISBN  9781584889847.
3. Дмитриенко, Алексей; Тамхане, Аджит; Бретц, Франк (2009). Множественные проблемы тестирования в фармацевтической статистике (1-е изд.). CRC Press. п. 37. ISBN  9781584889847.
4. Aickin, M; Генслер, Х (1996). «Корректировка для множественного тестирования при сообщении результатов исследования: методы Бонферрони и Холма». Американский журнал общественного здравоохранения. 86 (5): 726–728. Дои:10.2105 / ajph.86.5.726. ЧВК  1380484. PMID  8629727.
5. Хохберг, Йосеф (1988). «Более точная процедура Бонферрони для множественных тестов значимости» (PDF). Биометрика. 75 (4): 800–802. Дои:10.1093 / biomet / 75.4.800.
6. Westfall, P.H .; Янг, С. С. (1993). Множественное тестирование на основе повторной выборки: примеры и методы корректировки p-значения. Нью-Йорк: Джон Вили. ISBN  978-0-471-55761-6.
7. Romano, J.P .; Вольф, М. (2005a). «Точный и приближенный пошаговые методы проверки множественных гипотез». Журнал Американской статистической ассоциации. 100 (469): 94–108. Дои:10.1198/016214504000000539. HDL:10230/576.
8. Romano, J.P .; Вольф, М. (2005b). «Пошаговое множественное тестирование как формализованное отслеживание данных». Econometrica. 73 (4): 1237–1282. CiteSeerX  10.1.1.198.2473. Дои:10.1111 / j.1468-0262.2005.00615.x.
9. Хорошо, И. Дж (1958). «Параллельные и последовательные испытания значимости». Журнал Американской статистической ассоциации. 53 (284): 799–813. Дои:10.1080/01621459.1958.10501480. JSTOR  2281953.
10. Уилсон, Д. Дж. (2019). "Среднее гармоническое п-значение для объединения зависимых тестов ». Труды Национальной академии наук США. 116 (4): 1195–1200. Дои:10.1073 / pnas.1814092116. ЧВК  6347718. PMID  30610179.
11. Шаффер, Дж. П. (1995). «Проверка множественных гипотез». Ежегодный обзор психологии. 46: 561–584. Дои:10.1146 / annurev.ps.46.020195.003021. HDL:10338.dmlcz / 142950.
12. Фран, Эндрю (2015). «Уместны ли показатели ошибок типа I на уровне семьи в социальных и поведенческих науках?». Журнал современных прикладных статистических методов. 14 (1): 12–23. Дои:10.22237 / jmasm / 1430453040.

внешняя ссылка

• Общие сведения о частоте ошибок Family Wise - сообщение в блоге, включая его полезность относительно уровня ложного обнаружения