Регрессия Деминга - Deming regression

Регрессия Деминга. Красные линии показывают ошибку в обоих Икс и у. Это отличается от традиционного метода наименьших квадратов, который измеряет ошибку параллельно у ось. Показанный случай с отклонениями, измеренными перпендикулярно, возникает, когда ошибки в Икс и у имеют равные отклонения.

В статистика, Регрессия Деминга, названный в честь У. Эдвардс Деминг, является модель ошибок в переменных который пытается найти линия наилучшего соответствия для двумерного набора данных. Он отличается от простая линейная регрессия в этом он составляет ошибки в наблюдениях как по Икс- и у- ось. Это частный случай Всего наименьших квадратов, что позволяет использовать любое количество предикторов и более сложную структуру ошибок.

Регрессия Деминга эквивалентна максимальная вероятность оценка модель ошибок в переменных в котором ошибки для двух переменных считаются независимыми и нормально распределенный, а отношение их дисперсий, обозначенное δ, известен.^[1] На практике это соотношение можно оценить из соответствующих источников данных; однако процедура регрессии не учитывает возможные ошибки при оценке этого отношения.

Регрессия Деминга лишь немного сложнее вычислить по сравнению с простая линейная регрессия. Большинство пакетов статистических программ, используемых в клинической химии, предлагают регрессию Деминга.

Первоначально модель была представлена Адкок (1878) кто рассматривал дело δ = 1, а затем в более общем виде Куммелл (1879) с произвольным δ. Однако их идеи оставались практически незамеченными более 50 лет, пока не были возрождены Купманс (1937) а позже размножился еще больше Деминг (1943). Последняя книга стала настолько популярной в клиническая химия и связанные поля, которые даже назвали метод Регрессия Деминга в этих областях.^[2]

Технические характеристики

Предположим, что имеющиеся данные (у_я, Икс_я) являются измеренными наблюдениями за "истинными" значениями (у_я*, Икс_я*), лежащие на линии регрессии:

${\displaystyle {\begin{aligned}y_{i}&=y_{i}^{*}+\varepsilon _{i},\\x_{i}&=x_{i}^{*}+\eta _{i},\end{aligned}}}$

где ошибки ε и η независимы, и предполагается, что отношение их дисперсий известно:

${\displaystyle \delta ={\frac {\sigma _{\varepsilon }^{2}}{\sigma _{\eta }^{2}}}.}$

На практике дисперсии ${\displaystyle x}$ и ${\displaystyle y}$ параметры часто неизвестны, что затрудняет оценку ${\displaystyle \delta }$. Обратите внимание, что когда метод измерения для ${\displaystyle x}$ и ${\displaystyle y}$ то же самое, эти отклонения, вероятно, будут равны, поэтому ${\displaystyle \delta =1}$ для этого случая.

Мы стремимся найти линейку «наиболее подходящих»

${\displaystyle y^{*}=\beta _{0}+\beta _{1}x^{*},}$

таким образом, чтобы взвешенная сумма квадратов остатков модели была минимизирована:^[3]

${\displaystyle SSR=\sum _{i=1}^{n}{\bigg (}{\frac {\varepsilon _{i}^{2}}{\sigma _{\varepsilon }^{2}}}+{\frac {\eta _{i}^{2}}{\sigma _{\eta }^{2}}}{\bigg )}={\frac {1}{\sigma _{\varepsilon }^{2}}}\sum _{i=1}^{n}{\Big (}(y_{i}-\beta _{0}-\beta _{1}x_{i}^{*})^{2}+\delta (x_{i}-x_{i}^{*})^{2}{\Big )}\ \to \ \min _{\beta _{0},\beta _{1},x_{1}^{*},\ldots ,x_{n}^{*}}SSR}$

См. Дженсен (2007)^[4] для полного вывода.

Решение

Решение может быть выражено через выборочные моменты второй степени. То есть сначала рассчитываем следующие величины (все суммы идут от я = От 1 до п):

${\displaystyle {\begin{aligned}&{\overline {x}}={\frac {1}{n}}\sum x_{i},\quad {\overline {y}}={\frac {1}{n}}\sum y_{i},\\&s_{xx}={\tfrac {1}{n-1}}\sum (x_{i}-{\overline {x}})^{2},\\&s_{xy}={\tfrac {1}{n-1}}\sum (x_{i}-{\overline {x}})(y_{i}-{\overline {y}}),\\&s_{yy}={\tfrac {1}{n-1}}\sum (y_{i}-{\overline {y}})^{2}.\end{aligned}}}$

Наконец, оценки параметров модели методом наименьших квадратов будут^[5]

${\displaystyle {\begin{aligned}&{\hat {\beta }}_{1}={\frac {s_{yy}-\delta s_{xx}+{\sqrt {(s_{yy}-\delta s_{xx})^{2}+4\delta s_{xy}^{2}}}}{2s_{xy}}},\\&{\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}{\overline {x}},\\&{\hat {x}}_{i}^{*}=x_{i}+{\frac {{\hat {\beta }}_{1}}{{\hat {\beta }}_{1}^{2}+\delta }}(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}).\end{aligned}}}$

Ортогональная регрессия

Для случая равных дисперсий ошибок, т. Е. Когда ${\displaystyle \delta =1}$, Регрессия Деминга становится ортогональная регрессия: минимизирует сумму квадратов перпендикулярные расстояния от точек данных до линии регрессии. В этом случае обозначим каждое наблюдение как точку z_j в комплексной плоскости (т. е. точка (Икс_j, у_j) записывается как z_j = Икс_j + иу_j куда я это мнимая единица ). Обозначим как Z сумма квадратов разностей точек данных от центроид (также обозначается в комплексных координатах) - это точка, горизонтальное и вертикальное положение которой являются средними значениями точек данных. Потом:^[6]

• Если Z = 0, то каждая линия, проходящая через центр тяжести, является линией наилучшего ортогонального соответствия [это неверно - возьмите прямоугольник с центром в начале координат, представляющий четыре точки данных и выровненный по горизонтальной и вертикальной осям. Если ширина больше высоты, то лучше подходит ось x, чем ось y].
• Если Z 0, ортогональная линия регрессии проходит через центроид и параллельна вектору от начала координат до ${\displaystyle {\sqrt {Z}}}$.

А тригонометрический представление ортогональной линии регрессии было дано Кулиджем в 1913 г.^[7]

Заявление

В случае трех неколлинеарный точки на плоскости, треугольник с этими точками в качестве вершины имеет уникальный Штайнер инеллипс это касается сторон треугольника в их серединах. В большая ось этого эллипса попадает на ортогональную линию регрессии для трех вершин.^[8]

Смотрите также

• Линия фитинга

Примечания

1. (Линнет 1993 )
2. Корнблит, Гохман (1979)
3. Фуллер, глава 1.3.3
4. Дженсен, Андерс Кристиан (2007)
5. Глейстер (2001)
6. Минда и Фелпс (2008), теорема 2.3.
7. Кулидж, Дж. Л. (1913).
8. Минда и Фелпс (2008), следствие 2.4.

Рекомендации

• Адкок, Р. Дж. (1878). «Проблема наименьших квадратов». Аналитик. Анналы математики. 5 (2): 53–54. Дои:10.2307/2635758. JSTOR  2635758.
• Кулидж, Дж. Л. (1913). «Два геометрических приложения математики наименьших квадратов». В Американский математический ежемесячный журнал. 20 (6): 187–190. Дои:10.2307/2973072.
• Cornbleet, P.J .; Гохман, Н. (1979). «Неверные коэффициенты регрессии методом наименьших квадратов». Clin. Chem. 25 (3): 432–438. PMID  262186.
• Деминг, В. Э. (1943). Статистическая корректировка данных. Wiley, NY (издание Dover Publications, 1985). ISBN  0-486-64685-8.
• Фуллер, Уэйн А. (1987). Модели ошибок измерения. John Wiley & Sons, Inc. ISBN  0-471-86187-1.
• Глэйстер, П. (2001). «Снова о наименьших квадратах». Математический вестник. 85: 104–107. Дои:10.2307/3620485.
• Дженсен, Андерс Кристиан (2007). «Регрессия Деминга, пакет MethComp» (PDF).
• Купманс, Т. К. (1937). Линейный регрессионный анализ экономических временных рядов. ДеЭрвен Ф. Бон, Харлем, Нидерланды.
• Куммелл, К. Х. (1879). «Редукция уравнений наблюдения, которые содержат более одной наблюдаемой величины». Аналитик. Анналы математики. 6 (4): 97–105. Дои:10.2307/2635646. JSTOR  2635646.
• Линнет, К. (1993). «Оценка регрессионных процедур для сравнительных исследований методов». Клиническая химия. 39 (3): 424–432. PMID  8448852.
• Минда, Д.; Фелпс, С. (2008). «Треугольники, эллипсы и кубические многочлены» (PDF). Американский математический ежемесячный журнал. 115 (8): 679–689. МИСТЕР  2456092.^{[постоянная мертвая ссылка ]}