Ресэмплинг (статистика) - Resampling (statistics)

Для использования в других целях см. Повторная выборка.

В статистика, повторная выборка - это любой из множества методов для выполнения одного из следующих действий:

1. Оценка точности выборки статистика (медианы, отклонения, процентили ) с использованием подмножеств доступных данных (складной нож) или рисунок случайно с заменой из набора точек данных (самонастройка)
2. Замена меток на точках данных при выполнении тесты значимости (перестановочные тесты, также называемый точные тесты, рандомизационные или повторные рандомизационные тесты)
3. Проверка моделей с использованием случайных подмножеств (бутстрэппинг, перекрестная проверка )

Бутстрап

Основная статья: Bootstrap (статистика)

Лучший пример принципа плагина - метод самозагрузки.

Бутстрапирование - это статистический метод оценки выборочное распределение из оценщик к отбор проб с заменой исходной выборки, чаще всего с целью получения надежных оценок стандартные ошибки и доверительные интервалы параметра популяции, такого как иметь в виду, медиана, пропорция, отношение шансов, коэффициент корреляции или же регресс коэффициент. Это было названо принцип плагина,^[1] поскольку это метод оценка функционалов от распределения совокупности, оценивая те же функционалы в эмпирическое распределение по образцу. Это называется принцип потому что это слишком просто, чтобы быть иначе, это всего лишь руководство, а не теорема.

Например,^[1] при оценке численность населения иметь в виду, этот метод использует образец иметь в виду; оценить население медиана, используется медиана выборки; оценить население линия регрессии, он использует образец линии регрессии.

Его также можно использовать для построения тестов гипотез. Он часто используется в качестве надежной альтернативы логическому выводу, основанному на параметрических предположениях, когда эти предположения вызывают сомнения, или когда параметрический вывод невозможен или требует очень сложных формул для вычисления стандартных ошибок. Методы начальной загрузки также используются в переходах обновления-выбора фильтры твердых частиц, алгоритмы генетического типа и соответствующие методы повторной выборки / реконфигурации Монте-Карло, используемые в вычислительная физика.^[2][3] В этом контексте бутстрап используется для замены последовательно эмпирических взвешенных вероятностных мер на эмпирические меры. Бутстрап позволяет заменять образцы с низким весом копиями образцов с большим весом.

Складной нож

Основная статья: Передискретизация складного ножа

Отборный нож, который похож на бутстреппинг, используется в статистические выводы для оценки систематической ошибки и стандартной ошибки (дисперсии) статистики, когда для ее расчета используется случайная выборка наблюдений. Исторически этот метод предшествовал изобретению бутстрапа с Quenouille изобретая этот метод в 1949 году и Tukey расширив его в 1958 году.^[4][5] Этот метод был предвосхищен Махаланобис который в 1946 году предложил повторные оценки интересующей статистики с половиной выборки, выбранной случайным образом.^[6] Он придумал для этого метода название «взаимопроникающие образцы».

Кенуй изобрел этот метод с целью уменьшения систематической ошибки выборочной оценки. Тьюки расширил этот метод, предположив, что если бы реплики можно было считать идентично и независимо распределенными, то можно было бы сделать оценку дисперсии параметра выборки, и что она будет приблизительно распределена как t, изменяющаяся с п−1 степень свободы (п размер выборки).

Основная идея оценщика дисперсии складного ножа заключается в систематическом пересчете статистической оценки, исключая одно или несколько наблюдений за один раз из выборки. Из этого нового набора повторений статистики можно вычислить оценку систематической ошибки и оценку дисперсии статистики.

Вместо использования складного ножа для оценки дисперсии, его можно применить к журналу дисперсии. Это преобразование может привести к более точным оценкам, особенно когда распределение самой дисперсии может быть ненормальным.

Для многих статистических параметров оценка дисперсии складным ножом почти наверняка асимптотически стремится к истинному значению. С технической точки зрения можно сказать, что оценка складного ножа последовательный. Складной нож соответствует образцу средства, образец отклонения, центральная и нецентральная t-статистика (с возможно ненормальными совокупностями), выборка коэффициент вариации, оценщики максимального правдоподобия, оценки методом наименьших квадратов, коэффициенты корреляции и коэффициенты регрессии.

Это не соответствует образцу медиана. В случае унимодальной вариации отношение дисперсии складного ножа к дисперсии выборки имеет тенденцию распределяться как половина квадрата распределения хи-квадрат с двумя степени свободы.

Складной нож, как и оригинальный бутстрап, зависит от независимости данных. Были предложены удлинители складного ножа для учета зависимости в данных.

Другое расширение - метод удаления группы, используемый в сочетании с Пуассоновская выборка.

Сравнение бутстрапа и складного ножа

Оба метода, бутстрап и складной нож, оценивают изменчивость статистики по изменчивости этой статистики между подвыборками, а не по параметрическим предположениям. Для более общего складного ножа, складного ножа для наблюдений delete-m, бутстрап можно рассматривать как случайное приближение к нему. Оба дают аналогичные численные результаты, поэтому каждый из них может рассматриваться как приближение к другому. Несмотря на огромные теоретические различия в их математических представлениях, главное практическое отличие для пользователей статистики заключается в том, что бутстрап дает разные результаты при повторении на одних и тех же данных, тогда как складной нож дает каждый раз точно такой же результат. Из-за этого складной нож популярен, когда оценки необходимо проверять несколько раз перед публикацией (например, официальные статистические агентства). С другой стороны, когда эта функция проверки не имеет решающего значения и интересно иметь не число, а просто представление о его распределении, предпочтительнее использовать бутстрап (например, исследования в области физики, экономики, биологических наук).

Использование бутстрапа или складного ножа может больше зависеть от эксплуатационных аспектов, чем от статистических соображений обследования. Складной нож, первоначально использовавшийся для уменьшения систематической ошибки, представляет собой более специализированный метод, который оценивает только дисперсию точечной оценки. Этого может быть достаточно для базового статистического вывода (например, проверки гипотез, доверительных интервалов). С другой стороны, бутстрап сначала оценивает все распределение (точечной оценки), а затем вычисляет отклонение от этого. Несмотря на то, что это мощный и простой способ, он может потребовать значительных вычислительных ресурсов.

«Бутстрап может применяться как к задачам оценки дисперсии, так и к задачам оценки распределения. Однако бутстраповская оценка дисперсии не так хороша, как складной нож или сбалансированная повторная репликация (BRR) оценка дисперсии с точки зрения эмпирических результатов. Кроме того, оценка дисперсии начальной загрузки обычно требует больше вычислений, чем складной нож или BRR. Таким образом, бутстрап в основном рекомендуется для оценки распределения ». ^[7]

Особое внимание уделяется складному ножу, особенно складному ножу для наблюдения delete-1. Его следует использовать только с гладкими, дифференцируемыми статистическими данными (например, с итогами, средними значениями, пропорциями, отношениями, отношениями нечетных чисел, коэффициентами регрессии и т. Д.; Не с медианами или квантилями). Это могло стать практическим недостатком. Этот недостаток обычно является аргументом в пользу самозагрузки, а не складывания. Более общие складные ножи, чем delete-1, такие как складной нож delete-m или delete-all-but-2 Оценка Ходжеса – Лемана, преодолеть эту проблему для медиан и квантилей, ослабив требования гладкости для согласованной оценки дисперсии.

Обычно складной нож проще применять для сложных схем выборки, чем бутстрап. Сложные схемы выборки могут включать стратификацию, несколько этапов (кластеризацию), различные веса выборки (корректировка неполучения ответов, калибровка, пост-стратификация) и в рамках планов выборки с неравной вероятностью. Теоретические аспекты как бутстрапа, так и складного ножа можно найти в Shao and Tu (1995),^[8] тогда как базовое введение описано в Wolter (2007).^[9] Самостоятельная оценка систематической ошибки предсказания модели более точна, чем оценки складного ножа с линейными моделями, такими как линейная дискриминантная функция или множественная регрессия.^[10]

Подвыборка

Основная статья: Подвыборка (статистика)

Субдискретизация - это альтернативный метод аппроксимации распределения выборки оценщика. Два ключевых отличия от бутстрапа: (i) размер повторной выборки меньше размера выборки и (ii) повторная выборка выполняется без замены. Преимущество подвыборки в том, что она действительна в гораздо более слабых условиях по сравнению с бутстрапом. В частности, набор достаточных условий состоит в том, что скорость сходимости оценки известна и что предельное распределение является непрерывным; кроме того, размер повторной выборки (или подвыборки) должен стремиться к бесконечности вместе с размером выборки, но с меньшей скоростью, чтобы их отношение сходилось к нулю. Хотя подвыборка была первоначально предложена только для случая независимых и идентично распределенных (iid) данных, методология была расширена и на данные временных рядов; в этом случае выполняется повторная выборка блоков последующих данных, а не отдельных точек данных. Есть много случаев, представляющих прикладной интерес, когда подвыборка приводит к правильному выводу, тогда как бутстрэппинг - нет; например, такие случаи включают примеры, когда скорость сходимости оценки не является квадратным корнем из размера выборки или когда предельное распределение не является нормальным. Когда подвыборка и бутстрап согласованы, бутстрап обычно более точен.

Перекрестная проверка

Основная статья: Перекрестная проверка (статистика)

Перекрестная проверка - это статистический метод проверки прогнозная модель. Подмножества данных предназначены для использования в качестве проверочных наборов; модель соответствует оставшимся данным (обучающий набор) и используется для прогнозирования для набора проверки. Усреднение качества прогнозов по наборам проверки дает общий показатель точности прогнозирования. Перекрестная проверка многократно используется при построении деревьев решений.

Одна форма перекрестной проверки не учитывает одно наблюдение за раз; это похоже на складной нож. Другой, K-сложная перекрестная проверка, разбивает данные на K подмножества; каждый проводится по очереди как набор для проверки.

Это позволяет избежать «самовоздействия». Для сравнения в регрессивный анализ такие методы как линейная регрессия, каждый у value подводит к себе линию регрессии, делая прогноз этого значения более точным, чем он есть на самом деле. Перекрестная проверка, применяемая к линейной регрессии, предсказывает у значение для каждого наблюдения без использования этого наблюдения.

Это часто используется для решения, сколько переменных-предикторов использовать в регрессии. Без перекрестной проверки добавление предикторов всегда уменьшает остаточную сумму квадратов (или, возможно, оставляет ее без изменений). Напротив, перекрестно проверенная среднеквадратичная ошибка будет иметь тенденцию уменьшаться, если добавляются ценные предикторы, но увеличиваться, если добавляются бесполезные предикторы.^[11]

Перестановочные тесты

Основная статья: Точный тест

А перестановочный тест (также называемый тестом рандомизации, тестом повторной рандомизации или точный тест ) является разновидностью тест статистической значимости в котором распределение тестовой статистики под нулевая гипотеза получается путем вычисления всех возможных значений статистика теста при всех возможных перестановках наблюдаемых точек данных. Другими словами, метод, с помощью которого назначается лечение субъектам в экспериментальном дизайне, отражается в анализе этого плана. Если метки можно менять при нулевой гипотезе, то полученные тесты дают точные уровни значимости; смотрите также возможность обмена. Затем на основе тестов можно получить доверительные интервалы. Теория возникла из работ Рональд Фишер и Э. Дж. Г. Питман в 1930-е гг.

Чтобы проиллюстрировать основную идею теста перестановки, предположим, что мы собираем случайные величины ${displaystyle X_{A}}$ и ${displaystyle X_{B}}$ для каждого человека из двух групп ${displaystyle A}$ и ${displaystyle B}$ чьи выборочные средние ${displaystyle {ar {x}}_{A}}$ и ${displaystyle {ar {x}}_{B}}$, и что мы хотим знать, ${displaystyle X_{A}}$ и ${displaystyle X_{B}}$ происходят из того же дистрибутива. Позволять ${displaystyle n_{A}}$ и ${displaystyle n_{B}}$ быть размером выборки, взятой из каждой группы. Тест перестановки разработан, чтобы определить, достаточно ли велика наблюдаемая разница между выборочными средними, чтобы отклонить на некотором уровне значимости нулевую гипотезу H${displaystyle _{0}}$ что данные взяты из ${displaystyle A}$ из того же распределения, что и данные, взятые из ${displaystyle B}$.

Тест проходит следующим образом. Сначала вычисляется разница средних значений между двумя выборками: это наблюдаемое значение тестовой статистики, ${displaystyle T_{ ext{obs}}}$.

Далее наблюдения за группами ${displaystyle A}$ и ${displaystyle B}$ объединяются, и разница в средних значениях выборки вычисляется и записывается для всех возможных способов разделения объединенных значений на две группы по размеру. ${displaystyle n_{A}}$ и ${displaystyle n_{B}}$ (т.е. для каждой перестановки групповых меток A и B). Набор этих вычисленных различий представляет собой точное распределение возможных различий (для этой выборки) при нулевой гипотезе о том, что групповые метки могут быть заменены (т.е. назначаются случайным образом).

Одностороннее p-значение теста рассчитывается как доля отобранных перестановок, в которых разница в средних была больше или равна ${displaystyle T_{ ext{obs}}}$. Двустороннее p-значение теста рассчитывается как доля выбранных перестановок, в которых абсолютная разница было больше или равно ${displaystyle |T_{ ext{obs}}|}$.

В качестве альтернативы, если единственная цель теста - отклонить или не отвергнуть нулевую гипотезу, можно отсортировать записанные различия, а затем наблюдать, если ${displaystyle T_{ ext{obs}}}$ содержится в середине ${displaystyle (1-alpha ) imes 100}$% из них, для некоторого уровня значимости ${displaystyle alpha }$. Если это не так, мы отвергаем гипотезу об идентичности кривых вероятности на ${displaystyle alpha imes 100\%}$ уровень значимости.

Отношение к параметрическим испытаниям

Перестановочные тесты - это подмножество непараметрическая статистика. Предполагая, что наши экспериментальные данные получены на основе данных, измеренных в двух группах лечения, метод просто генерирует распределение средних различий в предположении, что эти две группы не отличаются друг от друга с точки зрения измеряемой переменной. Отсюда затем используется наблюдаемая статистика (${displaystyle T_{ ext{obs}}}$ выше), чтобы увидеть, в какой степени эта статистика является особенной, то есть вероятность наблюдения величины такого значения (или большего), если метки лечения были просто рандомизированы после лечения.

В отличие от тестов перестановки, распределения, лежащие в основе многих популярных "классическая" статистическая тесты, такие как т-тест, F-тест, z-тест, и χ² тест, получены из теоретических распределений вероятностей. Точный тест Фишера является примером обычно используемого теста перестановки для оценки связи между двумя дихотомическими переменными. Когда размер выборки очень большой, критерий хи-квадрат Пирсона даст точные результаты. Для небольших выборок нельзя предположить, что эталонное распределение хи-квадрат дает правильное описание распределения вероятностей статистики теста, и в этой ситуации использование точного критерия Фишера становится более подходящим.

Перестановочные тесты существуют во многих ситуациях, когда параметрических тестов нет (например, при выводе оптимального теста, когда потери пропорциональны размеру ошибки, а не ее квадрату). Все простые и многие относительно сложные параметрические тесты имеют соответствующую версию теста перестановки, которая определяется с использованием той же тестовой статистики, что и параметрический тест, но получает значение p из распределения перестановок этой статистики для конкретной выборки, а не из теоретического распределение, полученное из параметрического предположения. Например, таким образом можно построить перестановку т-тест, перестановка χ² тест ассоциации, перестановочная версия теста Али для сравнения дисперсий и так далее.

Основные недостатки тестов перестановки заключаются в том, что они

• Может потребовать значительных вычислительных ресурсов и может потребовать "специального" кода для трудно вычисляемой статистики. Это нужно переписывать для каждого случая.
• В основном используются для определения p-значения. Инверсия теста для получения доверительных областей / интервалов требует еще большего количества вычислений.

Преимущества

Перестановочные тесты существуют для любой тестовой статистики, независимо от того, известно ли ее распределение. Таким образом, всегда можно выбрать статистику, которая лучше всего различает гипотезу от альтернативы и минимизирует потери.

Перестановочные тесты могут использоваться для анализа несбалансированных конструкций.^[12] и для объединения зависимых тестов на смеси категориальных, порядковых и метрических данных (Pesarin, 2001)^{[нужна цитата ]}. Их также можно использовать для анализа качественных данных, которые были подвергнуты количественной оценке (т. Е. Преобразованы в числа). Перестановочные тесты могут быть идеальными для анализа количественных данных, которые не удовлетворяют статистическим допущениям, лежащим в основе традиционных параметрических тестов (например, t-тесты, ANOVA).^[13]

До 1980-х годов бремя создания эталонного распределения было огромным, за исключением наборов данных с небольшими размерами выборки.

С 1980-х годов сочетание относительно недорогих быстрых компьютеров и разработка новых сложных алгоритмов пути, применимых в особых ситуациях, сделало применение методов проверки перестановок практичным для широкого круга задач. Он также инициировал добавление опций точного тестирования в основные пакеты статистического программного обеспечения и появление специализированного программного обеспечения для выполнения широкого диапазона точных тестов с одним и несколькими переменными и вычисления «точных» доверительных интервалов на основе тестов.

Ограничения

Важное предположение, лежащее в основе проверки перестановки, состоит в том, что наблюдения можно обменивать при нулевой гипотезе. Важным следствием этого предположения является то, что тесты на различие в местоположении (например, t-тест перестановки) требуют равной дисперсии при предположении нормальности. В этом отношении t-критерий перестановки имеет ту же слабость, что и классический t-критерий Стьюдента ( Проблема Беренса – Фишера ). Третья альтернатива в этой ситуации - использовать тест на основе начальной загрузки. Хорошо (2005)^{[нужна цитата ]} объясняет разницу между тестами перестановки и тестами начальной загрузки следующим образом: «Перестановки проверяют гипотезы, касающиеся распределений; гипотезы начальной загрузки, касающиеся параметров. В результате, бутстрап влечет за собой менее строгие допущения». Тесты начальной загрузки неточны. В некоторых случаях проверка перестановки, основанная на должным образом стьюдентизированной статистике, может быть асимптотически точной, даже когда нарушается предположение об обмене.

Монте-Карло тестирование

Асимптотически эквивалентный тест перестановки может быть создан, когда существует слишком много возможных порядков данных, чтобы обеспечить полное перечисление удобным способом. Это делается путем создания справочного распределения с помощью Отбор проб Монте-Карло, который берет небольшую (по отношению к общему количеству перестановок) случайную выборку возможных повторов. Осознание того, что это можно применить к любому тесту перестановки на любом наборе данных, было важным прорывом в области прикладной статистики. Самая ранняя известная ссылка на этот подход - Dwass (1957).^[14]Этот тип проверки перестановки известен под разными названиями: приблизительный тест перестановки, Перестановочные тесты Монте-Карло или же тесты случайной перестановки.^[15]

После ${displaystyle N}$ случайными перестановками, можно получить доверительный интервал для p-значения на основе биномиального распределения. Например, если после ${displaystyle N=10000}$ случайных перестановок, p-значение оценивается как ${displaystyle {widehat {p}}=0.05}$, то доверительный интервал 99% для истинного ${displaystyle scriptstyle p}$ (тот, который возник бы в результате попытки всех возможных перестановок) - ${displaystyle [0.045,0.055]}$.

С другой стороны, цель оценки p-значения чаще всего состоит в том, чтобы решить, ${displaystyle pleq alpha }$, куда ${displaystyle scriptstyle alpha }$ - порог, при котором нулевая гипотеза будет отклонена (обычно ${displaystyle alpha =0.05}$). В приведенном выше примере доверительный интервал говорит нам только о том, что существует примерно 50% -ная вероятность того, что значение p меньше 0,05, т.е. совершенно неясно, следует ли отклонять нулевую гипотезу на уровне ${displaystyle alpha =0.05}$.

Если только важно знать, ${displaystyle pleq alpha }$ для данного ${displaystyle alpha }$, логично продолжить моделирование до тех пор, пока оператор ${displaystyle pleq alpha }$ может быть установлено как истинное или ложное с очень низкой вероятностью ошибки. Учитывая границу ${displaystyle epsilon }$ от допустимой вероятности ошибки (вероятность обнаружить, что ${displaystyle {widehat {p}}>alpha }$ когда на самом деле ${displaystyle pleq alpha }$ или наоборот), вопрос о том, сколько перестановок нужно сгенерировать, можно рассматривать как вопрос о том, когда прекратить генерировать перестановки, исходя из результатов моделирования на данный момент, чтобы гарантировать, что вывод (который либо ${displaystyle pleq alpha }$ или же ${displaystyle p>alpha }$) верен с вероятностью не менее ${displaystyle 1-epsilon }$. (${displaystyle epsilon }$ обычно выбирается очень маленьким, например 1/1000.) Для этого были разработаны правила остановки.^[16] который может быть включен с минимальными дополнительными вычислительными затратами. Фактически, в зависимости от истинного базового p-значения часто обнаруживается, что количество требуемых имитаций чрезвычайно мало (например, всего 5, а часто не больше 100), прежде чем решение может быть принято с виртуальной уверенностью.

Смотрите также

• Агрегирование бутстрапа (упаковка)
• Генетические алгоритмы
• Методы Монте-Карло
• Непараметрическая статистика
• Фильтр твердых частиц
• Случайная перестановка
• Тестирование суррогатных данных

Рекомендации

1. Логан, Дж. Дэвид и Волесенский, Виллиан Р. Математические методы в биологии. Чистая и прикладная математика: серия текстов, монографий и трактатов Wiley-interscience. John Wiley & Sons, Inc. 2009. Глава 6: Статистический вывод. Раздел 6.6: Методы начальной загрузки
2. Дель Мораль, Пьер (2004). Формулы Фейнмана-Каца. Генеалогические и взаимодействующие приближения частиц. Springer. п. 575. Серия: Вероятность и приложения
3. Дель Мораль, Пьер (2013). Моделирование среднего поля для интеграции Монте-Карло. Чепмен и Холл / CRC Press. п. 626. Монографии по статистике и прикладной теории вероятностей
4. Кенуй, М. Х. (1949). «Приблизительные тесты корреляции во временных рядах». Журнал Королевского статистического общества, серия B. 11 (1): 68–84. Дои:10.1111 / j.2517-6161.1949.tb00023.x. JSTOR  2983696.
5. Тьюки, Дж. У. (1958). «Предвзятость и уверенность в не очень больших выборках (предварительный отчет)». Анналы математической статистики. 29 (2): 614. JSTOR  2237363.
6. Махаланобис, П. К. (1946). «Труды собрания Королевского статистического общества, состоявшегося 16 июля 1946 года». Журнал Королевского статистического общества. 109 (4): 325–370. JSTOR  2981330.
7. Шао, Дж. И Ту, Д. (1995). Складной нож и бутстрап. Springer-Verlag, Inc., с. 281.
8. Shao, J .; Ту, Д. (1995). Складной нож и бутстрап. Springer.
9. Вольтер, К. М. (2007). Введение в оценку дисперсии (Второе изд.). Springer.
10. Verbyla, D .; Литвайтис, Дж. (1989). «Методы повторной выборки для оценки точности классификации моделей среды обитания диких животных». Управление окружением. 13 (6): 783–787. Bibcode:1989EnMan..13..783V. Дои:10.1007 / bf01868317.
11. Вербила, Д. (1986). «Возможная ошибка прогноза в регрессионном и дискриминантном анализе». Канадский журнал исследований леса. 16 (6): 1255–1257. Дои:10.1139 / x86-222.
12. «Приглашенные статьи» (PDF). Журнал современных прикладных статистических методов. 1 (2): 202–522. Осень 2011. Архивировано с оригинал (PDF) 5 мая 2003 г.
13. Коллингридж, Дэйв С. (11 сентября 2012 г.). «Праймеры по количественному анализу данных и перестановочному тестированию». Журнал смешанных методов исследования. 7 (1): 81–97. Дои:10.1177/1558689812454457.
14. Дуасс, Мейер (1957). «Модифицированные тесты рандомизации для непараметрических гипотез». Анналы математической статистики. 28 (1): 181–187. Дои:10.1214 / aoms / 1177707045. JSTOR  2237031.
15. Томас Э. Николс, Эндрю П. Холмс (2001). «Непараметрические тесты на перестановку для функциональной нейровизуализации: учебник с примерами» (PDF). Картирование человеческого мозга. 15 (1): 1–25. Дои:10.1002 / hbm.1058. HDL:2027.42/35194. PMID  11747097.
16. Ганди, Аксель (2009). «Последовательная реализация тестов Монте-Карло с равномерно ограниченным риском передискретизации». Журнал Американской статистической ассоциации. 104 (488): 1504–1511. arXiv:математика / 0612488. Дои:10.1198 / jasa.2009.tm08368.

• Хорошо, Филипп (2005), Перестановка, параметрическая и бутстрап-проверка гипотез (3-е изд.), Springer

Библиография

Вводная статистика

• Хорошо, П. (2005) Введение в статистику с помощью методов передискретизации и R / S-PLUS. Вайли. ISBN  0-471-71575-1
• Хорошо, П. (2005) Введение в статистику с помощью методов передискретизации и Microsoft Office Excel. Вайли. ISBN  0-471-73191-9
• Хестерберг, Т. К., Д. С. Мур, С. Монаган, А. Клипсон и Р. Эпштейн (2005). Методы начальной загрузки и тесты перестановок.^{[требуется полная цитата ]}
• Вольтер, К. (2007). Введение в оценку дисперсии. Второе издание. Springer, Inc.

Бутстрап

• Эфрон, Брэдли (1979). «Методы начальной загрузки: еще один взгляд на складной нож». Анналы статистики. 7: 1–26. Дои:10.1214 / aos / 1176344552.
• Эфрон, Брэдли (1981). «Непараметрические оценки стандартной ошибки: складной нож, бутстрап и другие методы». Биометрика. 68 (3): 589–599. Дои:10.2307/2335441. JSTOR  2335441.
• Эфрон, Брэдли (1982). Складной нож, бутстрап и другие планы передискретизации, В Общество промышленной и прикладной математики CBMS-NSF Монографии, 38.
• Диаконис, П.; Эфрон, Брэдли (1983), «Компьютерные методы в статистике», Scientific American, 116–130 мая.
• Эфрон, Брэдли; Тибширани, Роберт Дж. (1993). Введение в бутстрап, Нью-Йорк: Чепмен и Холл, программного обеспечения.
• Дэвисон, А.С. и Хинкли, Д.V. (1997): Методы начальной загрузки и их применение, программного обеспечения.
• Муни, С. З. и Дюваль, Р. Д. (1993). Самостоятельная загрузка. Непараметрический подход к статистическому выводу. Серия работ Университета Сейдж о количественных приложениях в социальных науках, 07-095. Ньюбери-Парк, Калифорния: мудрец.
• Саймон, Дж. Л. (1997): Ресэмплинг: новая статистика.
• Райт, Д. Б., Лондон, К., Филд, А. П. Использование оценки начальной загрузки и принципа подключаемого модуля для данных клинической психологии. 2011 Textrum Ltd. Онлайн: https://www.researchgate.net/publication/236647074_Using_Bootstrap_Estimation_and_the_Plug-in_Principle_for_Clinical_Psychology_Data. Проверено 25 апреля 2016 г.
• Введение в Bootstrap. Монографии по статистике и прикладной вероятности 57. Chapman & Hall / CHC. 1998. Интернет https://books.google.it/books?id=gLlpIUxRntoC&pg=PA35&lpg=PA35&dq=plug+in+principle&source=bl&ots=A8AsW5K6E2&sig=7WQVzL3ujAnWC8HDNyOzKlKVX0k&hl=en&sa=X&sqi=2&ved=0ahUKEwiU5c-Ho6XMAhUaOsAKHS_PDJMQ6AEIPDAG#v=onepage&q=plug%20in% 20principle & f = false. Проверено 25 апреля 2016.

Складной нож

• Бергер, Ю. (2007). «Оценка дисперсии складного ножа для одноэтапных стратифицированных выборок с неравными вероятностями». Биометрика. 94 (4): 953–964. Дои:10.1093 / biomet / asm072.
• Berger, Y.G .; Рао, J.N.K. (2006). «Отрегулированный складной нож для вменения при неравновероятной выборке без замены». Журнал Королевского статистического общества, серия B. 68 (3): 531–547. Дои:10.1111 / j.1467-9868.2006.00555.x.
• Berger, Y.G .; Скиннер, C.J. (2005). «Оценщик отклонения складного ножа для неравной вероятностной выборки». Журнал Королевского статистического общества, серия B. 67 (1): 79–89. Дои:10.1111 / j.1467-9868.2005.00489.x.
• Jiang, J .; Lahiri, P .; Ван, С.М. (2002). «Единая теория складного ножа для лучшего эмпирического прогноза с M-оценкой». Анналы статистики. 30 (6): 1782–810. Дои:10.1214 / aos / 1043351257.
• Джонс, H.L. (1974). «Складной нож для оценки функций слоевых средств». Биометрика. 61 (2): 343–348. Дои:10.2307/2334363. JSTOR  2334363.
• Киш, Л .; Франкель, М.Р. (1974). «Вывод из сложных образцов». Журнал Королевского статистического общества, серия B. 36 (1): 1–37.
• Кревски, Д .; Рао, J.N.K. (1981). «Вывод из стратифицированных образцов: свойства линеаризации, складной нож и методы сбалансированной повторной репликации». Анналы статистики. 9 (5): 1010–1019. Дои:10.1214 / aos / 1176345580.
• Кенуй, М. (1956). «Заметки о предвзятости в оценке». Биометрика. 43 (3–4): 353–360. Дои:10.1093 / biomet / 43.3-4.353.
• Rao, J.N.K .; Шао, Дж. (1992). «Оценка дисперсии складного ножа с данными обследования при вменении« горячей палубы »». Биометрика. 79 (4): 811–822. Дои:10.1093 / biomet / 79.4.811.
• Rao, J.N.K .; Wu, C.F.J .; Юэ, К. (1992). «Некоторые недавние работы по методам повторной выборки для сложных опросов». Методология исследования. 18 (2): 209–217.
• Шао, Дж. И Ту, Д. (1995). Складной нож и бутстрап. Springer-Verlag, Inc.
• Тьюки, Дж. (1958). «Предвзятость и уверенность в не очень больших выборках (аннотация)». Анналы математической статистики. 29 (2): 614.
• Ву, C.F.J. (1986). «Jackknife, Bootstrap и другие методы повторной выборки в регрессионном анализе» (PDF). Анналы статистики. 14 (4): 1261–1295. Дои:10.1214 / aos / 1176350142.

Подвыборка

• Delgado, M .; Rodriguez-Poo, J .; Вольф, М. (2001). «Вывод субдискретизации в асимптотике кубического корня с приложением к оценщику максимального балла Мански». Письма по экономике. 73 (2): 241–250. Дои:10.1016 / s0165-1765 (01) 00494-3. HDL:10016/2449.
• Gonzalo, J .; Вольф, М. (2005). «Вывод субдискретизации в пороговых авторегрессионных моделях». Журнал эконометрики. 127 (2): 201–224. Дои:10.1016 / j.jeconom.2004.08.004. HDL:10016/3218.
• Politis, D.N .; Романо, J.P. (1994). «Доверительные области для большой выборки, основанные на подвыборках при минимальных предположениях». Анналы статистики. 22 (4): 2031–2050. Дои:10.1214 / aos / 1176325770.
• Politis, D.N .; Romano, J.P .; Вольф, М. (1997). «Подвыборка для гетероскедастических временных рядов». Журнал эконометрики. 81 (2): 281–317. Дои:10.1016 / s0304-4076 (97) 86569-4.
• Политис, Д.Н., Романо, Дж. П., и Вольф, М. (1999). Подвыборка. Спрингер, Нью-Йорк.
• Romano, J.P .; Вольф, М. (2001). «Интервалы субдискретизации в моделях авторегрессии с линейным временным трендом». Econometrica. 69 (5): 1283–1314. Дои:10.1111/1468-0262.00242. HDL:10016/6400.

Методы Монте-Карло

• Джордж С. Фишман (1995). Монте-Карло: концепции, алгоритмы и приложения, Спрингер, Нью-Йорк. ISBN  0-387-94527-X.
• Джеймс Э. Джентл (2009). Вычислительная статистика, Спрингер, Нью-Йорк. Часть III: Методы вычислительной статистики. ISBN  978-0-387-98143-7.
• Пьер Дель Мораль (2004). Формулы Фейнмана-Каца. Генеалогические и взаимодействующие системы частиц с приложениями, Springer, вероятностные серии и приложения. ISBN  978-0-387-20268-6
• Пьер Дель Мораль (2013). Дель Мораль, Пьер (2013). Моделирование среднего поля для интеграции Монте-Карло. Chapman & Hall / CRC Press, Монографии по статистике и прикладной теории вероятностей. ISBN  9781466504059
• Дирк П. Крезе, Томас Таймре и Здравко И. Ботев. Справочник по методам Монте-Карло, John Wiley & Sons, Нью-Йорк. ISBN  978-0-470-17793-8.
• Кристиан П. Роберт и Джордж Казелла (2004). Статистические методы Монте-Карло, Второе изд., Спрингер, Нью-Йорк. ISBN  0-387-21239-6.
• Шломо Савиловский и Гейл Фахоум (2003). Статистика с помощью моделирования методом Монте-Карло с помощью Fortran. Рочестер-Хиллз, Мичиган: JMASM. ISBN  0-9740236-0-4.

Перестановочные тесты

Исходные ссылки:

• Фишер, Р.А. (1935) План экспериментов, Нью-Йорк: Хафнер
• Питман, Э. Дж. Г. (1937) «Тесты значимости, которые могут быть применены к выборкам из любой популяции», Приложение Королевского статистического общества, 4: 119-130 и 225-32 (части I и II). JSTOR  2984124 JSTOR  2983647
• Питман, Э. Дж. Г. (1938). «Тесты значимости, которые могут применяться к выборкам из любой популяции. Часть III. Тест дисперсионного анализа». Биометрика. 29 (3–4): 322–335. Дои:10.1093 / biomet / 29.3-4.322.

Современные ссылки:

• Коллингридж, Д.С. (2013). «Праймеры по количественному анализу данных и перестановочному тестированию». Журнал смешанных методов исследования. 7 (1): 79–95. Дои:10.1177/1558689812454457.
• Эджингтон. E.S. (1995) Рандомизационные тесты, 3-е изд. Нью-Йорк: Марсель-Деккер
• Хорошо, Филипп I. (2005) Перестановка, параметрическая и бутстрап-проверка гипотез, 3-е изд., Springer ISBN  0-387-98898-X
• Хорошо, П (2002). «Расширения концепции возможности обмена и их приложения». Журнал современных прикладных статистических методов. 1 (2): 243–247. Дои:10.22237 / jmasm / 1036110240.
• Луннеборг, Клифф. (1999) Анализ данных путем повторной выборки, Duxbury Press. ISBN  0-534-22110-6.
• Пезарин, Ф. (2001). Многовариантные перестановочные тесты: с приложениями в биостатистике, Джон Уайли и сыновья. ISBN  978-0471496700
• Уэлч, У. Дж. (1990). «Построение перестановочных тестов». Журнал Американской статистической ассоциации. 85 (411): 693–698. Дои:10.1080/01621459.1990.10474929.

Вычислительные методы:

• Mehta, C.R .; Патель, Н. Р. (1983). «Сетевой алгоритм для выполнения точного теста Фишера в таблицах непредвиденных обстоятельств r x c». Журнал Американской статистической ассоциации. 78 (382): 427–434. Дои:10.1080/01621459.1983.10477989.
• Mehta, C.R .; Patel, N.R .; Сенчаудхури, П. (1988). «Выборка по важности для оценки точных вероятностей перестановочного вывода». Журнал Американской статистической ассоциации. 83 (404): 999–1005. Дои:10.1080/01621459.1988.10478691.
• Гилл, П. М. У. (2007). «Эффективное вычисление p-значений в тестах значимости перестановок линейной статистики» (PDF). Журнал статистических вычислений и моделирования. 77 (1): 55–61. CiteSeerX  10.1.1.708.1957. Дои:10.1080/10629360500108053.

Методы передискретизации

• Хорошо, П. (2006) Методы передискретизации. 3-е изд. Бирхаузер.
• Вольтер, К. (2007). Введение в оценку дисперсии. 2-е издание. Springer, Inc.
• Пьер Дель Мораль (2004). Формулы Фейнмана-Каца. Генеалогические и взаимодействующие системы частиц с приложениями, Springer, вероятностные серии и приложения. ISBN  978-0-387-20268-6
• Пьер Дель Мораль (2013). Дель Мораль, Пьер (2013). Моделирование среднего поля для интеграции Монте-Карло. Chapman & Hall / CRC Press, Монографии по статистике и прикладной теории вероятностей. ISBN  9781466504059

внешняя ссылка

Текущие исследования перестановочных тестов

• Хорошо, П. (2012) Практическое руководство по методам повторной выборки.
• Хорошо, П. (2005) Перестановочные, параметрические и бутстрап-тесты гипотез
• Учебник Bootstrap Sampling
• Хестерберг, Т. К., Д. С. Мур, С. Монаган, А. Клипсон и Р. Эпштейн (2005): Методы начальной загрузки и тесты перестановок, программного обеспечения.
• Мур, Д. С., Дж. Маккейб, У. Дакворт и С. Склов (2003): Методы начальной загрузки и тесты перестановок
• Саймон, Дж. Л. (1997): Ресэмплинг: новая статистика.
• Ю, Чонг Хо (2003): Методы ресэмплинга: концепции, приложения и обоснование. Практическая оценка, исследования и оценка, 8 (19). (статистическая загрузка)
• Передискретизация: брак компьютеров и статистики (дайджесты ERIC)

Программного обеспечения

• Анджело Канти и Брайан Рипли (2010). ботинок: Функции Bootstrap R (S-Plus). Пакет R версии 1.2-43. Функции и наборы данных для начальной загрузки из книги Методы начальной загрузки и их приложения А. К. Дэвисон и Д. В. Хинкли (1997, CUP).
• Statistics101: Resampling, Bootstrap, программа моделирования Монте-Карло
• Пакет R `samplingVarEst ': оценка дисперсии выборки. Реализует функции для оценки дисперсии выборки некоторых точечных оценщиков.
• Парный тест рандомизации / перестановки для оценки результатов TREC
• Тесты рандомизации / перестановки для оценки результатов в экспериментах по поиску информации (с поправками на множественные сравнения и без них).
• Проверка множественных гипотез на основе повторной выборки биокондукторов с помощью Applications to Genomics.
• permtest: пакет R для сравнения изменчивости внутри и расстояния между двумя группами в наборе данных микрочипа.
• Bootstrap Resampling: интерактивная демонстрация проверки гипотез с бутстраповой повторной выборкой в ​​R.
• Проверка перестановки: интерактивная демонстрация проверки гипотез с проверкой перестановки в R.