Критерий Шовене - Chauvenets criterion

В статистической теории Критерий Шовене (назван в честь Уильям Шовене^[1]) является средством оценки того, является ли одна часть экспериментальных данных выброс - из набора наблюдений, скорее всего, будет ложным.^{[нужна цитата ]}

Вывод

Идея критерия Шовене состоит в том, чтобы найти полосу вероятности, сосредоточенную на среднем значении нормальное распределение, который должен разумно содержать все n выборок набора данных. Таким образом, любые точки данных из n выборок, которые лежат за пределами этой полосы вероятности, можно рассматривать как выбросы, удалять из набора данных и рассчитывать новое среднее значение и стандартное отклонение на основе оставшихся значений и нового размера выборки. Эта идентификация выбросов будет достигнута путем определения количества стандартных отклонений, которые соответствуют границам диапазона вероятности вокруг среднего (${\displaystyle D_{\mathrm {max} }}$) и сравнение этого значения с абсолютным значением разницы между предполагаемыми выбросами и средним значением, деленным на стандартное отклонение выборки (уравнение 1).

${\displaystyle D_{\mathrm {max} }\geq {\frac {|x-{\bar {x}}|}{s_{x}}}}$

(1)

куда

• ${\displaystyle D_{\mathrm {max} }}$ - максимально допустимое отклонение,
• ${\displaystyle |\cdot |}$ это абсолютное значение,
• ${\displaystyle x}$ значение предполагаемого выброса,
• ${\displaystyle {\bar {x}}}$ выборочное среднее, и
• ${\displaystyle s_{x}}$ стандартное отклонение выборки.

Чтобы считаться включающими все ${\displaystyle n}$ наблюдения в выборке, полоса вероятности (с центром на среднем) должна учитывать только ${\displaystyle n-{\tfrac {1}{2}}}$ образцы (если ${\displaystyle n=3}$ тогда только 2,5 выборки должны быть учтены в полосе вероятности). На самом деле у нас не может быть частичных образцов, поэтому ${\displaystyle n-{\tfrac {1}{2}}}$ (2.5 для ${\displaystyle n=3}$) приблизительно ${\displaystyle n}$. Все, что меньше ${\displaystyle n-{\tfrac {1}{2}}}$ примерно ${\displaystyle n-1}$ (2, если ${\displaystyle n=3}$) и недействителен, поскольку мы хотим найти полосу вероятности, которая содержит ${\displaystyle n}$ наблюдения, а не ${\displaystyle n-1}$ образцы. Короче ищем вероятность, ${\displaystyle P}$, что равно ${\displaystyle n-{\tfrac {1}{2}}}$ снаружи ${\displaystyle n}$ образцы (уравнение 2).

${\displaystyle P={\frac {n-{\tfrac {1}{2}}}{n}}=1-{\tfrac {1}{2n}}}$

(2)

куда

• ${\displaystyle P}$ - полоса вероятности с центром на выборочном среднем и
• ${\displaystyle n}$ размер выборки.

Количество ${\displaystyle {\tfrac {1}{2n}}}$ соответствует объединенной вероятности, представленной двумя хвостами нормального распределения, которые выходят за пределы диапазона вероятности ${\displaystyle P}$. Чтобы найти уровень стандартного отклонения, связанный с ${\displaystyle P}$необходимо анализировать только вероятность одного из хвостов нормального распределения из-за его симметрии (уравнение 3).

${\displaystyle P_{z}={\frac {1}{4n}}}$

(3)

куда

• ${\displaystyle P_{z}}$ вероятность, представленная одним хвостом нормального распределения и
• ${\displaystyle n}$ = размер выборки.

Уравнение 1 аналогично уравнению ${\displaystyle Z}$-счетное уравнение (уравнение 4).

${\displaystyle Z={\frac {x-\mu }{\sigma }}}$

(4)

куда

• ${\displaystyle Z}$ это ${\displaystyle Z}$-счет,
• ${\displaystyle x}$ это примерное значение,
• ${\displaystyle \mu =0}$ - среднее значение стандартного нормального распределения, а
• ${\displaystyle \sigma =1}$ - стандартное отклонение стандартного нормального распределения.

Основываясь на уравнении 4, чтобы найти ${\displaystyle D_{\mathrm {max} }}$ (Уравнение 1) найдите z-показатель, соответствующий ${\displaystyle P_{z}}$ в ${\displaystyle Z}$-таблица результатов. ${\displaystyle D_{\mathrm {max} }}$ равен баллу за ${\displaystyle P_{z}}$. Используя этот метод ${\displaystyle D_{\mathrm {max} }}$ можно определить для любого размера выборки. В Excel ${\displaystyle D_{\mathrm {max} }}$ можно найти по следующей формуле: = ABS (NORM.S.INV (1 / (4п))).

Расчет

Чтобы применить критерий Шовене, сначала рассчитайте иметь в виду и стандартное отклонение наблюдаемых данных. В зависимости от того, насколько подозрительные данные отличаются от среднего, используйте нормальное распределение функция (или ее таблица) для определения вероятность что данная точка данных будет соответствовать значению подозрительной точки данных. Умножьте эту вероятность на количество взятых точек данных. Если результат меньше 0,5, подозрительная точка данных может быть отброшена, то есть считывание может быть отклонено, если вероятность получения конкретного отклонения от среднего меньше, чем ${\displaystyle {\tfrac {1}{2n}}}$.^{[нужна цитата ]}

Пример

Например, предположим, что в нескольких испытаниях экспериментально измеряется значение 9, 10, 10, 10, 11 и 50. Среднее значение составляет 16,7, а стандартное отклонение - 16,34. 50 отличается от 16,7 на 33,3, что немногим больше двух стандартных отклонений. Вероятность получения данных более чем на два стандартных отклонения от среднего составляет примерно 0,05. Было проведено шесть измерений, поэтому статистическое значение (размер данных, умноженное на вероятность) составляет 0,05 × 6 = 0,3. Поскольку 0,3 <0,5, согласно критерию Шовене, измеренное значение 50 следует отбросить (оставив новое среднее значение 10 со стандартным отклонением 0,7).^{[нужна цитата ]}

Критерий Пирса

Другой метод устранения ложных данных называется Критерий Пирса. Он был разработан за несколько лет до публикации критерия Шовене и представляет собой более строгий подход к рациональному удалению резко выделяющихся данных.^[2] Другие методы, такие как Тест Граббса на выбросы упомянуты в списке для Выброс.^{[нужна цитата ]}

Критика

Удаление резко отклоняющихся данных - спорная практика, которую осуждают многие ученые и преподаватели; хотя критерий Шовене обеспечивает объективный и количественный метод отклонения данных, он не делает эту практику более научно или методологически обоснованной, особенно в небольших группах или в тех случаях, когда нормальное распределение нельзя предположить. Отклонение выбросов более приемлемо в тех областях практики, где достоверно известны лежащая в основе модель измеряемого процесса и обычное распределение ошибок измерения.

Рекомендации

1. Шовене, Уильям. Руководство по сферической и практической астрономии V. II. 1863. Переиздание 1891. 5 изд. Довер, Нью-Йорк: 1960. С. 474–566.
2. Росс, доктор философии, Стивен (2003). Статья из Университета Нью-Хейвена. J. Engr. Technology, осень 2003 г. Получено из http://newton.newhaven.edu/sross/piercescriterion.pdf^{[постоянная мертвая ссылка ]}.

Библиография

• Тейлор, Джон Р. Введение в анализ ошибок. 2-е издание. Саусалито, Калифорния: Университетские научные книги, 1997. стр. 166–8.
• Барнетт, Вик и Льюис, Тоби. «Выбросы в статистических данных». 3-е издание. Чичестер: Дж. Вили и сыновья, 1994. ISBN  0-471-93094-6.
• Айча Зербет, Михаил Никулин. Новая статистика для обнаружения выбросов в экспоненциальном случае, Коммуникации в статистике: теория и методы, 2003, т.32, стр. 573–584.