Нелинейный метод наименьших квадратов - Non-linear least squares

Нелинейный метод наименьших квадратов это форма наименьших квадратов анализ используется для соответствия набору м наблюдения с моделью, которая нелинейна по п неизвестные параметры (м ≥ п). Он используется в некоторых формах нелинейная регрессия. В основе метода - аппроксимация модели линейной и уточнение параметров последовательными итерациями. Есть много общего с линейный метод наименьших квадратов, но и некоторые значительные различия. В экономической теории нелинейный метод наименьших квадратов применяется в (i) пробит-регрессии, (ii) пороговой регрессии, (iii) гладкой регрессии, (iv) регрессии логистических связей, (v) регрессорах с преобразованием Бокса-Кокса (${\displaystyle m(x,\theta _{i})=\theta _{1}+\theta _{2}x^{(\theta _{3})}}$).

Теория

Рассмотрим набор ${\displaystyle m}$ точки данных, ${\displaystyle (x_{1},y_{1}),(x_{2},y_{2}),\dots ,(x_{m},y_{m}),}$ и кривая (модельная функция) ${\displaystyle y=f(x,{\boldsymbol {\beta }}),}$ что в дополнение к переменной ${\displaystyle x}$ также зависит от ${\displaystyle n}$ параметры, ${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}$ с ${\displaystyle m\geq n.}$ Требуется найти вектор ${\displaystyle {\boldsymbol {\beta }}}$ таких параметров, что кривая наилучшим образом соответствует заданным данным в смысле наименьших квадратов, то есть сумма квадратов

${\displaystyle S=\sum _{i=1}^{m}r_{i}^{2}}$

минимизируется, где остатки (ошибки предсказания в выборке) р_я даны

${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})}$

за ${\displaystyle i=1,2,\dots ,m.}$

В минимум значение S происходит, когда градиент равно нулю. Поскольку модель содержит п параметры есть п уравнения градиента:

${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0\quad (j=1,\ldots ,n).}$

В нелинейной системе производные ${\displaystyle {\frac {\partial r_{i}}{\partial \beta _{j}}}}$ являются функциями как независимой переменной, так и параметров, поэтому в общем случае эти градиентные уравнения не имеют замкнутого решения. Вместо этого для параметров должны быть выбраны начальные значения. Затем параметры уточняются итеративно, то есть значения получаются методом последовательного приближения,

${\displaystyle \beta _{j}\approx \beta _{j}^{k+1}=\beta _{j}^{k}+\Delta \beta _{j}.\,}$

Здесь, k - номер итерации и вектор приращений, ${\displaystyle \Delta {\boldsymbol {\beta }}\,}$ известен как вектор сдвига. На каждой итерации модель линеаризуется приближением к первому порядку. Полином Тейлора расширение о ${\displaystyle {\boldsymbol {\beta }}^{k}\!}$

${\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}{\frac {\partial f(x_{i},{\boldsymbol {\beta }}^{k})}{\partial \beta _{j}}}\left(\beta _{j}-\beta _{j}^{k}\right)=f(x_{i},{\boldsymbol {\beta }}^{k})+\sum _{j}J_{ij}\,\Delta \beta _{j}.}$

В Якобиан, J, является функцией констант, независимая переменная и параметры, поэтому он меняется от одной итерации к другой. Таким образом, с точки зрения линеаризованной модели, ${\displaystyle {\frac {\partial r_{i}}{\partial \beta _{j}}}=-J_{ij}}$ а остатки равны

${\displaystyle \Delta y_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k}).}$

${\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})=\left(y_{i}-f(x_{i},{\boldsymbol {\beta }}^{k})\right)+\left(f(x_{i},{\boldsymbol {\beta }}^{k})-f(x_{i},{\boldsymbol {\beta }})\right)\approx \Delta y_{i}-\sum _{s=1}^{n}J_{is}\Delta \beta _{s}.}$

Подставляя эти выражения в уравнения градиента, они становятся

${\displaystyle -2\sum _{i=1}^{m}J_{ij}\left(\Delta y_{i}-\sum _{s=1}^{n}J_{is}\ \Delta \beta _{s}\right)=0,}$

которые при перестановке становятся п совместных линейных уравнений, нормальные уравнения

${\displaystyle \sum _{i=1}^{m}\sum _{s=1}^{n}J_{ij}J_{is}\ \Delta \beta _{s}=\sum _{i=1}^{m}J_{ij}\ \Delta y_{i}\qquad (j=1,\dots ,n).\,}$

Нормальные уравнения записываются в матричных обозначениях как

${\displaystyle \mathbf {\left(J^{T}J\right)\Delta {\boldsymbol {\beta }}=J^{T}\ \Delta y} .}$

Когда наблюдения не являются одинаково надежными, взвешенная сумма квадратов может быть минимизирована,

${\displaystyle S=\sum _{i=1}^{m}W_{ii}r_{i}^{2}.}$

Каждый элемент диагональ матрица весов W в идеале должно быть равно обратной величине ошибки отклонение измерения.^[1] Тогда нормальные уравнения имеют вид

${\displaystyle \mathbf {\left(J^{T}WJ\right)\Delta {\boldsymbol {\beta }}=J^{T}W\ \Delta y} .}$

Эти уравнения составляют основу Алгоритм Гаусса – Ньютона для нелинейной задачи наименьших квадратов.

Геометрическая интерпретация

В линейных наименьших квадратах целевая функция, S, это квадратичная функция параметров.

${\displaystyle S=\sum _{i}W_{ii}\left(y_{i}-\sum _{j}X_{ij}\beta _{j}\right)^{2}}$

Когда есть только один параметр, график S по этому параметру будет парабола. При двух и более параметрах контуры S по любой паре параметров будет концентрическим эллипсы (предполагая, что матрица нормальных уравнений ${\displaystyle \mathbf {X^{T}WX} }$ является положительно определенный ). Минимальные значения параметров находятся в центре эллипсов. Геометрию общей целевой функции можно описать как параболоид эллиптической формы. В NLLSQ целевая функция квадратична по параметрам только в области, близкой к ее минимальному значению, где усеченный ряд Тейлора является хорошим приближением к модели.

${\displaystyle S\approx \sum _{i}W_{ii}\left(y_{i}-\sum _{j}J_{ij}\beta _{j}\right)^{2}}$

Чем больше значения параметров отличаются от своих оптимальных значений, тем больше контуры отклоняются от эллиптической формы. Следствием этого является то, что начальные оценки параметров должны быть как можно ближе к их (неизвестным!) Оптимальным значениям. Это также объясняет, как может возникнуть дивергенция, поскольку алгоритм Гаусса – Ньютона сходится только тогда, когда целевая функция приблизительно квадратична по параметрам.

Вычисление

Оценки начальных параметров

Некоторые проблемы плохой обусловленности и расхождения можно исправить, найдя начальные оценки параметров, близкие к оптимальным значениям. Хороший способ сделать это - компьютерное моделирование. И наблюдаемые, и расчетные данные отображаются на экране. Параметры модели настраиваются вручную до тех пор, пока соответствие между наблюдаемыми и расчетными данными не станет достаточно хорошим. Хотя это будет субъективное суждение, его достаточно, чтобы найти хорошую отправную точку для нелинейного уточнения. Начальные оценки параметров могут быть созданы с помощью преобразований или линеаризации. Более совершенные эволюционные алгоритмы, такие как алгоритм стохастической воронки, могут привести к выпуклому бассейну притяжения, окружающему оптимальные оценки параметров. Было показано, что гибридные алгоритмы, использующие рандомизацию и элитарность, за которыми следуют методы Ньютона, являются полезными и эффективными с точки зрения вычислений.

Решение

Любой метод из описанных ниже можно применить для поиска решения.

Критерии сходимости

Критерий сходимости, основанный на здравом смысле, состоит в том, что сумма квадратов не уменьшается от одной итерации к следующей. Однако этот критерий часто бывает трудно реализовать на практике по разным причинам. Полезный критерий сходимости:

${\displaystyle \left|{\frac {S^{k}-S^{k+1}}{S^{k}}}\right|<0.0001.}$

Значение 0,0001 несколько произвольно и может нуждаться в изменении. В частности, его может потребоваться увеличить, если экспериментальные ошибки велики. Альтернативный критерий:

${\displaystyle \left|{\frac {\Delta \beta _{j}}{\beta _{j}}}\right|<0.001,\qquad j=1,\dots ,n.}$

Опять же, числовое значение несколько произвольно; 0,001 эквивалентно указанию того, что каждый параметр должен быть уточнен с точностью до 0,1%. Это разумно, когда оно меньше наибольшего относительного стандартного отклонения параметров.

Вычисление якобиана численным приближением

Основная статья: Численное дифференцирование

Есть модели, для которых очень сложно или даже невозможно получить аналитические выражения для элементов якобиана. Тогда численное приближение

${\displaystyle {\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}\approx {\frac {\delta f(x_{i},{\boldsymbol {\beta }})}{\delta \beta _{j}}}}$

получается путем расчета ${\displaystyle f(x_{i},{\boldsymbol {\beta }})\,}$ за ${\displaystyle \beta _{j}\,}$ и ${\displaystyle \beta _{j}+\delta \beta _{j}\,}$. Приращение,${\displaystyle \delta \beta _{j}\,}$, размер следует выбирать так, чтобы числовая производная не подвергалась ошибке аппроксимации из-за слишком большого размера, или округлять ошибка из-за того, что она слишком мала.

Ошибки параметров, доверительные границы, остатки и т. Д.

Некоторая информация приведена в соответствующий раздел на линейный метод наименьших квадратов страница.

Множественные минимумы

Множественные минимумы могут возникать при различных обстоятельствах, некоторые из которых:

• Параметр возводится в степень двойки или более. Например, при подгонке данных к Лоренциан изгиб

${\displaystyle f(x_{i},{\boldsymbol {\beta }})={\frac {\alpha }{1+\left({\frac {\gamma -x_{i}}{\beta }}\right)^{2}}}}$

куда ${\displaystyle \alpha }$ высота, ${\displaystyle \gamma }$ это позиция и ${\displaystyle \beta }$ - полуширина на половине высоты, есть два решения для полуширины, ${\displaystyle {\hat {\beta }}}$ и ${\displaystyle -{\hat {\beta }}}$ которые дают такое же оптимальное значение для целевой функции.

• Два параметра можно менять местами без изменения значения модели. Простой пример - модель содержит произведение двух параметров, поскольку ${\displaystyle \alpha \beta }$ даст то же значение, что и ${\displaystyle \beta \alpha }$.
• Параметр находится в тригонометрической функции, например ${\displaystyle \sin \beta \,}$, который имеет одинаковые значения при ${\displaystyle {\hat {\beta }}+2n\pi }$. Видеть Алгоритм Левенберга – Марквардта для примера.

Не все множественные минимумы имеют равные значения целевой функции. Ложные минимумы, также известные как локальные минимумы, возникают, когда значение целевой функции больше, чем ее значение на так называемом глобальном минимуме. Чтобы быть уверенным, что найденный минимум является глобальным минимумом, уточнение следует начинать с сильно различающихся начальных значений параметров. Когда один и тот же минимум найден независимо от начальной точки, он, скорее всего, будет глобальным минимумом.

Когда существует несколько минимумов, возникает важное последствие: целевая функция будет иметь максимальное значение где-то между двумя минимумами. Матрица нормальных уравнений не является положительно определенной в максимуме целевой функции, так как градиент равен нулю и не существует единственного направления спуска. Уточнение от точки (набора значений параметров), близкой к максимуму, будет плохо обусловлено, и его следует избегать в качестве отправной точки. Например, при подборе лоренцевой матрицы нормальная матрица уравнений не является положительно определенной, если полуширина полосы равна нулю.^[2]

Преобразование к линейной модели

Основная статья: Нелинейная регрессия § Преобразование

Иногда нелинейную модель можно преобразовать в линейную. Например, когда модель представляет собой простую экспоненциальную функцию,

${\displaystyle f(x_{i},{\boldsymbol {\beta }})=\alpha e^{\beta x_{i}}}$

ее можно преобразовать в линейную модель путем логарифмирования.

${\displaystyle \log f(x_{i},{\boldsymbol {\beta }})=\log \alpha +\beta x_{i}}$

Графически это соответствует работе над полулогарифмический сюжет. Сумма квадратов становится

${\displaystyle S=\sum _{i}(\log y_{i}-\log \alpha -\beta x_{i})^{2}.\!}$

Этой процедуры следует избегать, если только ошибки не являются мультипликативными и лог-нормально распределенный потому что это может привести к ошибочным результатам. Это происходит из-за того, что независимо от экспериментальных ошибок у может быть, ошибки на войти y разные. Следовательно, при минимизации преобразованной суммы квадратов будут получены разные результаты как для значений параметров, так и для их рассчитанных стандартных отклонений. Однако с мультипликативными ошибками, которые распределены нормально логарифмически, эта процедура дает несмещенные и согласованные оценки параметров.

Другой пример представлен Кинетика Михаэлиса – Ментен, используется для определения двух параметров ${\displaystyle V_{\max }}$ и ${\displaystyle K_{m}}$:

${\displaystyle v={\frac {V_{\max }[S]}{K_{m}+[S]}}}$.

В Заговор Лайнуивера – Берка

${\displaystyle {\frac {1}{v}}={\frac {1}{V_{\max }}}+{\frac {K_{m}}{V_{\max }[S]}}}$

из ${\displaystyle {\frac {1}{v}}}$ против ${\displaystyle {\frac {1}{[S]}}}$ линейна по параметрам ${\displaystyle {\frac {1}{V_{\max }}}}$ и ${\displaystyle {\frac {K_{m}}{V_{\max }}}}$, но очень чувствителен к ошибкам данных и сильно склонен к подгонке данных в конкретный диапазон независимой переменной ${\displaystyle [S]}$.

Алгоритмы

Метод Гаусса – Ньютона

Основная статья: Алгоритм Гаусса – Ньютона

Нормальные уравнения

${\displaystyle \mathbf {\left(J^{T}WJ\right)\Delta {\boldsymbol {\beta }}=\left(J^{T}W\right)\Delta y} }$

может быть решен для ${\displaystyle \Delta {\boldsymbol {\beta }}}$ к Разложение Холецкого, как описано в линейный метод наименьших квадратов. Параметры обновляются итеративно

${\displaystyle {\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+\Delta {\boldsymbol {\beta }}}$

куда k - номер итерации. Хотя этот метод может быть подходящим для простых моделей, он потерпит неудачу, если произойдет расхождение. Следовательно, защита от расхождения имеет важное значение.

Посменная резка

Если происходит расхождение, простой способ - уменьшить длину вектора сдвига, ${\displaystyle \mathbf {\Delta \beta } }$, дробно, ж

${\displaystyle {\boldsymbol {\beta }}^{k+1}={\boldsymbol {\beta }}^{k}+f\ \Delta {\boldsymbol {\beta }}.}$

Например, длина вектора сдвига может быть последовательно уменьшена вдвое, пока новое значение целевой функции не станет меньше, чем ее значение на последней итерации. Дробь, ж может быть оптимизирован линейный поиск.^[3] Поскольку каждое пробное значение ж требует пересчета целевой функции, поэтому не стоит слишком строго оптимизировать ее значение.

При использовании переключения со сдвигом направление вектора сдвига не изменяется. Это ограничивает применимость метода к ситуациям, когда направление вектора сдвига не сильно отличается от того, что было бы, если бы целевая функция была приблизительно квадратичной по параметрам, ${\displaystyle {\boldsymbol {\beta }}^{k}.}$

Параметр Марквардта

Основная статья: Алгоритм Левенберга – Марквардта

Если происходит расхождение и направление вектора сдвига настолько далеко от его «идеального» направления, что срезание сдвига не очень эффективно, то есть дробь, ж Требуется избежать расхождения очень мало, направление нужно менять. Этого можно добиться, используя Marquardt параметр.^[4] В этом методе модифицируются нормальные уравнения.

${\displaystyle \mathbf {\left(J^{T}WJ+\lambda I\right)\Delta {\boldsymbol {\beta }}=\left(J^{T}W\right)\Delta y} }$

куда ${\displaystyle \lambda }$ - параметр Марквардта и я является единичной матрицей. Повышение стоимости ${\displaystyle \lambda }$ имеет эффект изменения направления и длины вектора сдвига. Вектор сдвига поворачивается в направлении крутой спуск

когда ${\displaystyle \lambda \mathbf {I\gg {}J^{T}WJ} ,\ \mathbf {\Delta {\boldsymbol {\beta }}} \approx (1/\lambda )\mathbf {J^{T}W\ \Delta y} .}$

${\displaystyle \mathbf {J^{T}W\ \Delta y} }$ - вектор наискорейшего спуска. Так когда ${\displaystyle \lambda }$ становится очень большим, вектор сдвига становится малой частью вектора наискорейшего спуска.

Предлагались различные стратегии определения параметра Марквардта. Как и при посменной резке, слишком строго оптимизировать этот параметр расточительно. Напротив, после того, как было найдено значение, которое вызывает уменьшение значения целевой функции, это значение параметра переносится на следующую итерацию, уменьшается, если возможно, или увеличивается, если необходимо. При уменьшении значения параметра Марквардта существует пороговое значение, ниже которого его можно безопасно установить на ноль, то есть продолжить использование немодифицированного метода Гаусса – Ньютона. Значение отсечки может быть установлено равным наименьшему сингулярному значению якобиана.^[5] Граница для этого значения дается ${\displaystyle 1/{\mbox{trace}}\mathbf {\left(J^{T}WJ\right)^{-1}} }$.^[6]

QR-разложение

Минимум суммы квадратов может быть найден методом, не предполагающим составления нормальных уравнений. Остатки с линеаризованной моделью можно записать как

${\displaystyle \mathbf {r=\Delta y-J\ \Delta {\boldsymbol {\beta }}} .}$

Якобиан подвергается ортогональному разложению; в QR-разложение будет служить для иллюстрации процесса.

${\displaystyle \mathbf {J=QR} }$

куда Q является ортогональный ${\displaystyle m\times m}$ матрица и р является ${\displaystyle m\times n}$ матрица, которая разделенный в ${\displaystyle n\times n}$ блокировать, ${\displaystyle \mathbf {R} _{n}}$, а ${\displaystyle (m-n)\times n}$ нулевой блок. ${\displaystyle \mathbf {R} _{n}}$ верхнетреугольный.

${\displaystyle \mathbf {R} ={\begin{bmatrix}\mathbf {R} _{n}\\\mathbf {0} \end{bmatrix}}}$

Остаточный вектор умножается слева на ${\displaystyle \mathbf {Q} ^{T}}$.

${\displaystyle \mathbf {Q^{T}r=Q^{T}\ \Delta y-R\ \Delta {\boldsymbol {\beta }}} ={\begin{bmatrix}\mathbf {\left(Q^{T}\ \Delta y-R\ \Delta {\boldsymbol {\beta }}\right)} _{n}\\\mathbf {\left(Q^{T}\ \Delta y\right)} _{m-n}\end{bmatrix}}}$

Это не влияет на сумму квадратов, поскольку ${\displaystyle S=\mathbf {r^{T}QQ^{T}r=r^{T}r} }$ потому что Q является ортогональный Минимальное значение S достигается, когда верхний блок равен нулю. Следовательно, вектор сдвига находится путем решения

${\displaystyle \mathbf {R_{n}\ \Delta {\boldsymbol {\beta }}=\left(Q^{T}\ \Delta y\right)_{n}} .\,}$

Эти уравнения легко решаются как р верхнетреугольный.

Разложение по сингулярным числам

Вариант метода ортогональной декомпозиции включает разложение по сингулярным числам, в котором р диагонализуется дальнейшими ортогональными преобразованиями.

${\displaystyle \mathbf {J=U{\boldsymbol {\Sigma }}V^{T}} \,}$

куда ${\displaystyle \mathbf {U} }$ ортогонален, ${\displaystyle {\boldsymbol {\Sigma }}}$ - диагональная матрица сингулярных чисел и ${\displaystyle \mathbf {V} }$ - ортогональная матрица собственных векторов ${\displaystyle \mathbf {J^{T}J} }$ или, что то же самое, правые сингулярные векторы ${\displaystyle \mathbf {J} }$. В этом случае вектор сдвига определяется выражением

${\displaystyle \mathbf {{\boldsymbol {\Delta }}\beta =V{\boldsymbol {\Sigma }}^{-1}\left(U^{T}\ {\boldsymbol {\Delta }}y\right)} _{n}.\,}$

Относительная простота этого выражения очень полезна при теоретическом анализе нелинейных наименьших квадратов. Применение разложения по сингулярным числам подробно обсуждается у Лоусона и Хэнсона.^[5]

Градиентные методы

В научной литературе есть много примеров, когда различные методы использовались для нелинейных задач аппроксимации данных.

• Включение вторых производных в разложение модельной функции в ряд Тейлора. Это Метод Ньютона в оптимизации.

${\displaystyle f(x_{i},{\boldsymbol {\beta }})=f^{k}(x_{i},{\boldsymbol {\beta }})+\sum _{j}J_{ij}\,\Delta \beta _{j}+{\frac {1}{2}}\sum _{j}\sum _{k}\Delta \beta _{j}\,\Delta \beta _{k}\,H_{jk_{(i)}},\ H_{jk_{(i)}}={\frac {\partial ^{2}f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}\,\partial \beta _{k}}}.}$

Матрица ЧАС известен как Матрица Гессе. Хотя эта модель имеет лучшие свойства сходимости вблизи минимума, она намного хуже, когда параметры далеки от своих оптимальных значений. Расчет гессиана усложняет алгоритм. Этот метод не используется повсеместно.

• Метод Дэвидона – Флетчера – Пауэлла. Этот метод, разновидность метода псевдоньютона, аналогичен приведенному выше, но вычисляет гессиан путем последовательного приближения, чтобы избежать использования аналитических выражений для вторых производных.
• Крутой спуск. Хотя уменьшение суммы квадратов гарантируется, когда вектор сдвига указывает в направлении наискорейшего спуска, этот метод часто работает плохо. Когда значения параметров далеки от оптимальных, направление вектора наискорейшего спуска, которое перпендикулярно (перпендикулярно) контурам целевой функции, сильно отличается от направления вектора Гаусса – Ньютона. Это делает расхождение гораздо более вероятным, особенно потому, что минимум вдоль направления наискорейшего спуска может соответствовать небольшой части длины вектора наискорейшего спуска. Когда контуры целевой функции очень эксцентричны из-за высокой корреляции между параметрами, итерации наискорейшего спуска со сдвигом следуют по медленной зигзагообразной траектории к минимуму.
• Поиск сопряженных градиентов. Это улучшенный метод наискорейшего спуска с хорошими теоретическими свойствами сходимости, хотя он может дать сбой на цифровых компьютерах конечной точности даже при использовании для решения квадратичных задач.^[7]

Методы прямого поиска

Методы прямого поиска зависят от оценок целевой функции при различных значениях параметров и вообще не используют производные. Они предлагают альтернативы использованию численных производных в методе Гаусса – Ньютона и градиентных методах.

• Поиск переменных переменных.^[3] Каждый параметр изменяется по очереди путем добавления к нему фиксированного или переменного приращения и сохранения значения, которое приводит к уменьшению суммы квадратов. Этот метод прост и эффективен, когда параметры не сильно коррелированы. Он имеет очень плохие свойства сходимости, но может быть полезен для поиска начальных оценок параметров.
• Поиск Нелдера – Мида (симплексный). А симплекс в этом контексте многогранник из п + 1 вершина в п размеры; треугольник на плоскости, тетраэдр в трехмерном пространстве и так далее. Каждая вершина соответствует значению целевой функции для определенного набора параметров. Форма и размер симплекса регулируются путем изменения параметров таким образом, чтобы значение целевой функции в самой высокой вершине всегда уменьшалось. Хотя сумма квадратов может сначала быстро уменьшаться, она может сходиться к нестационарной точке в квазивыпуклых задачах, на примере М. Дж. Д. Пауэлла.

Более подробные описания этих и других методов доступны в Числовые рецепты вместе с компьютерным кодом на разных языках.

Смотрите также

• Вектор поддержки наименьших квадратов
• Подгонка кривой
• Модель серого ящика
• Нелинейное программирование
• Нелинейная регрессия
• Оптимизация (математика)
• Алгоритм Левенберга – Марквардта

Рекомендации

1. Это означает, что наблюдения некоррелированы. Если наблюдения коррелированный, выражение

   ${\displaystyle S=\sum _{k}\sum _{j}r_{k}W_{kj}r_{j}\,}$

   применяется. В этом случае весовая матрица в идеале должна быть равна обратной величине ошибки ковариационная матрица наблюдений.
2. В отсутствие ошибка округления а из-за экспериментальной ошибки в независимой переменной матрица нормальных уравнений была бы сингулярной
3. М.Дж. Бокс, Д. Дэвис и У. Суонн, Нелинейные методы оптимизации, Оливер и Бойд, 1969 г.
4. Этот метод был независимо предложен Левенбергом (1944), Жираром (1958), Винном (1959), Моррисоном (1960) и Марквардтом (1963). Одно только имя Марквардта используется для этого в большей части научной литературы.
5. C.L. Лоусон и Р.Дж. Хэнсон, Решение задач наименьших квадратов, Прентис – Холл, 1974 г.
6. Р. Флетчер, Отчет UKAEA AERE-R 6799, H.M. Канцелярия, 1971 год
7. М. Дж. Д. Пауэлл, Компьютерный журнал, (1964), 7, 155.

дальнейшее чтение

• Келли, К. Т. (1999). Итерационные методы оптимизации (PDF). SIAM Frontiers в прикладной математике. № 18. ISBN  0-89871-433-8.
• Струтц, Т. (2016). Подгонка данных и неопределенность: практическое введение в взвешенный метод наименьших квадратов и не только (2-е изд.). Springer Vieweg. ISBN  978-3-658-11455-8.