Собственное разложение матрицы - Eigendecomposition of a matrix

В линейная алгебра, собственное разложение или иногда спектральное разложение это факторизация из матрица в каноническая форма, при этом матрица представляется через ее собственные значения и собственные векторы. Только диагонализуемые матрицы могут быть факторизованы таким образом.

Фундаментальная теория собственных векторов и собственных значений матриц

(Ненулевой) вектор v измерения N является собственный вектор квадрата N × N матрица А если он удовлетворяет линейному уравнению

куда λ является скаляром, называемым собственное значение соответствующий v. То есть собственные векторы - это векторы, которые линейное преобразование А просто удлиняется или сжимается, и величина, на которую они удлиняются / сжимаются, является собственным значением. Вышеприведенное уравнение называется уравнение на собственные значения или проблема собственных значений.

Это дает уравнение для собственных значений

Мы называем п(λ) то характеристический многочлен, и уравнение, называемое характеристическое уравнение, является NПолиномиальное уравнение порядка от неизвестной λ. Это уравнение будет иметь Nλ различные решения, где 1 ≤ NλN. Набор решений, то есть собственные значения, называется спектр из А.[1][2][3]

Мы можем фактор п в качестве

Целое число пя называется алгебраическая кратность собственного значения λя. Если поле скаляров алгебраически замкнутый сумма алгебраических кратностей равна N:

Для каждого собственного значения λя, у нас есть конкретное уравнение на собственные значения

Будут 1 ≤ мяпя линейно независимый решения каждого уравнения на собственные значения. Линейные комбинации мя решения - это собственные векторы, связанные с собственным значением λя. Целое число мя называется геометрическая кратность из λя. Важно помнить, что алгебраическая кратность пя и геометрическая кратность мя может быть, а может и не быть равным, но у нас всегда есть мяпя. Самый простой случай, конечно, когда мя = пя = 1. Общее количество линейно независимых собственных векторов, Nv, можно вычислить, сложив геометрические кратности

Собственные векторы можно индексировать по собственным значениям, используя двойной индекс, с vij будучи j-й собственный вектор для я-е собственное значение. Собственные векторы также могут быть проиндексированы с использованием более простой записи одного индекса vk, с k = 1, 2, ..., Nv.

Собственное разложение матрицы

Позволять А быть квадратом п × п матрица с п линейно независимый собственные векторы qя (куда я = 1, ..., п). потом А возможно факторизованный в качестве

куда Q это квадрат п × п матрица, чья я-й столбец - собственный вектор qя из А, и Λ это диагональная матрица диагональные элементы которого являются соответствующими собственными значениями, Λii = λя. Обратите внимание, что только диагонализуемые матрицы могут быть факторизованы таким образом. Например, дефектная матрица (что является матрица сдвига ) нельзя диагонализовать.

В п собственные векторы qя обычно нормализованы, но это не обязательно. Ненормализованный набор п собственные векторы, vя также могут использоваться как столбцы Q. Это можно понять, заметив, что величина собственных векторов в Q отменяется в разложении наличием Q−1.

Разложение может быть получено из фундаментального свойства собственных векторов:

Пример

Действительная матрица 2 × 2 А

может быть разложена на диагональную матрицу путем умножения невырожденной матрицы B

потом

для некоторой реальной диагональной матрицы .

Умножая обе части уравнения слева на B:

Вышеприведенное уравнение можно разложить на два одновременные уравнения:

С учетом собственные значения Икс и у:

Сдача

это дает нам два векторных уравнения:

И может быть представлено одним векторным уравнением, включающим два решения в качестве собственных значений:

куда λ представляет два собственных значения Икс и у, и ты представляет векторы а и б.

Смещение λты в левую сторону и факторинг ты из

С B неособо, существенно, что ты не равно нулю. Следовательно,

Таким образом

давая нам решения собственных значений матрицы А в качестве λ = 1 или же λ = 3, и получившаяся диагональная матрица из собственного разложения А таким образом .

Подставляя решения обратно в вышеуказанные одновременные уравнения

Решая уравнения, имеем

Таким образом, матрица B требуется для собственного разложения А является

то есть:

Матрица, обратная через собственное разложение

Если матрица А может быть разложен на собственные числа, и если ни одно из его собственных значений не равно нулю, то А является неособый и его обратное дается

Если является симметричной матрицей, так как формируется из собственных векторов гарантированно будет ортогональная матрица, следовательно . Кроме того, поскольку Λ это диагональная матрица, его обратное несложно вычислить:

Практические последствия[4]

Когда собственное разложение используется на матрице измеренных, реальных данные, то обратный может быть менее достоверным, если все собственные значения используются без изменений в приведенной выше форме. Это связано с тем, что по мере того, как собственные значения становятся относительно небольшими, их вклад в инверсию велик. Те, которые близки к нулю или находятся на уровне «шума» измерительной системы, будут иметь чрезмерное влияние и могут затруднить решения (обнаружение) с использованием обратного.

Было предложено два смягчения: усечение малых или нулевых собственных значений и распространение самого низкого надежного собственного значения на те, которые ниже него.

Первый метод смягчения подобен разреженной выборке исходной матрицы, удаляя компоненты, которые не считаются ценными. Однако, если процесс решения или обнаружения близок к уровню шума, усечение может удалить компоненты, которые влияют на желаемое решение.

Второе смягчение расширяет собственное значение, так что более низкие значения имеют гораздо меньшее влияние на инверсию, но все же вносят свой вклад, так что решения вблизи шума все равно будут найдены.

Надежное собственное значение может быть найдено, если предположить, что очень похожие и низкие собственные значения являются хорошим представлением шума измерения (который считается низким для большинства систем).

Если собственные значения отсортированы по рангу по значению, то надежное собственное значение может быть найдено путем минимизации Лапласиан отсортированных собственных значений:[5]

где собственные значения отмечены индексом s для обозначения сортировки. Положение минимизации - это самое низкое надежное собственное значение. В измерительных системах квадратный корень из этого надежного собственного значения представляет собой средний шум по компонентам системы.

Функциональное исчисление

Собственное разложение позволяет значительно упростить вычисление степенной ряд матриц. Если ж (Икс) дан кем-то

тогда мы знаем, что

Потому что Λ это диагональная матрица, функции Λ очень легко рассчитать:

Недиагональные элементы ж (Λ) равны нулю; то есть, ж (Λ) также диагональная матрица. Следовательно, вычисляя ж (А) сводится к простому вычислению функции по каждому из собственных значений.

Подобный метод работает в более общем случае с голоморфное функциональное исчисление, с помощью

из над. И снова мы находим, что

Примеры

которые являются примерами функций .Более того, это матричная экспонента.

Разложение на специальные матрицы

Нормальные матрицы

Комплексная квадратная матрица А является нормальный (смысл А*А = AA*, куда А* это сопряженный транспонировать ) тогда и только тогда, когда его можно разложить как

куда U это унитарная матрица (смысл U* = U−1) и Λ = диаг (λ1, ..., λп) это диагональная матрица.[6]Колонны ты1, …, тып из U для мужчин ортонормированный базис и являются собственными векторами А с соответствующими собственными значениями λ1, …, λп.

Если А ограничен быть Эрмитова матрица (А = А*), тогда Λ содержит только реально оцененные записи. Если А ограничивается унитарной матрицей, то Λ принимает все свои значения на комплексной единичной окружности, то есть |λя| = 1.

Действительные симметричные матрицы

Как частный случай, для каждого п × п настоящий симметричная матрица, собственные значения действительные, а собственные векторы могут быть выбраны действительными и ортонормированный. Таким образом, действительная симметричная матрица А можно разложить как

куда Q является ортогональная матрица столбцы которого являются собственными векторами А, и Λ диагональная матрица, элементами которой являются собственные значения А.[7]

Полезные факты

Полезные факты о собственных значениях

  • Произведение собственных значений равно детерминант из А
    Обратите внимание, что каждое собственное значение возводится в степень пя, то алгебраическая кратность.
  • Сумма собственных значений равна след из А
    Обратите внимание, что каждое собственное значение умножается на пя, то алгебраическая кратность.
  • Если собственные значения А находятся λя, и А обратима, то собственные значения А−1 просто λ−1
    я
    .
  • Если собственные значения А находятся λя, то собственные значения ж (А) просто ж (λя), для любого голоморфная функция ж.

Полезные факты о собственных векторах

  • Если А является Эрмитский и полноранговые, базис собственных векторов может быть выбран взаимно ортогональный. Собственные значения действительны.
  • Собственные векторы А−1 такие же, как собственные векторы А.
  • Собственные векторы определены только с точностью до мультипликативной константы. То есть, если Средний = λv тогда cv также является собственным вектором для любого скаляра c ≠ 0. Особенно, v и еv (для любого θ) также являются собственными векторами.
  • В случае вырожденных собственных значений (собственное значение появляется более одного раза) собственные векторы обладают дополнительной свободой вращения, то есть любая линейная (ортонормированная) комбинация собственных векторов, разделяющих собственное значение (в вырожденном подпространстве), сами являются собственными векторами ( в подпространстве).

Полезные факты о собственном разложении

  • А может быть разложен на собственные тогда и только тогда, когда число линейно независимых собственных векторов, , равна размерности собственного вектора:
  • Если п(λ) не имеет повторяющихся корней, то есть если тогда А может быть собственно разложен.
  • Заявление "А может быть разложен на собственное нет подразумевают, что А имеет обратное.
  • Заявление "А имеет обратное "делает нет подразумевают, что А может быть собственно разложен. Контрпример , который является обратимым дефектная матрица.

Полезные факты об обратной матрице

  • А можно перевернуть если и только если
  • Если λя ≠ 0 и Nv = N, обратное дается выражением

Численные расчеты

Численное вычисление собственных значений

Предположим, мы хотим вычислить собственные значения данной матрицы. Если матрица мала, мы можем вычислить их символически, используя характеристический многочлен. Однако это часто невозможно для больших матриц, и в этом случае мы должны использовать численный метод.

На практике собственные значения больших матриц не вычисляются с использованием характеристического полинома. Вычисление полинома само по себе становится дорогостоящим, а точные (символьные) корни полинома высокой степени может быть трудно вычислить и выразить: Теорема Абеля – Руффини означает, что корни многочленов высокой степени (5 или выше) не могут быть выражены просто с помощью пй корни. Следовательно, общие алгоритмы поиска собственных векторов и собственных значений таковы: итеративный.

Существуют итерационные численные алгоритмы аппроксимации корней многочленов, такие как Метод Ньютона, но в целом нецелесообразно вычислять характеристический многочлен, а затем применять эти методы. Одна из причин в том, что маленький ошибки округления в коэффициентах характеристического полинома может привести к большим ошибкам в собственных значениях и собственных векторах: корни являются чрезвычайно плохо воспитанный функция коэффициентов.[8]

Простой и точный итерационный метод - это силовой метод: а случайный вектор v выбрана и последовательность единичные векторы вычисляется как

Этот последовательность буду почти всегда сходятся к собственному вектору, соответствующему собственному значению наибольшей величины, при условии, что v имеет ненулевую компоненту этого собственного вектора в базисе собственных векторов (а также при условии, что имеется только одно собственное значение наибольшей величины). Этот простой алгоритм полезен в некоторых практических приложениях; Например, Google использует его для расчета рейтинг страницы документов в их поисковой системе.[9] Кроме того, силовой метод является отправной точкой для многих более сложных алгоритмов. Например, сохраняя не только последний вектор в последовательности, но вместо этого глядя на охватывать из все векторов в последовательности, можно получить лучшее (более быстрое сходящееся) приближение для собственного вектора, и эта идея является основой Итерация Арнольди.[8] Как вариант, важный QR-алгоритм также основан на тонкой трансформации силового метода.[8]

Численное вычисление собственных векторов

После того, как собственные значения вычислены, собственные векторы могут быть вычислены путем решения уравнения

с помощью Гауссово исключение или же любой другой метод для решения матричные уравнения.

Однако в практических крупномасштабных методах собственных значений собственные векторы обычно вычисляются другими способами в качестве побочного продукта вычисления собственных значений. В итерация мощности, например, собственный вектор фактически вычисляется перед собственным значением (которое обычно вычисляется Фактор Рэлея собственного вектора).[8] В алгоритме QR для Эрмитова матрица (или любой нормальная матрица ) ортонормированные собственные векторы получаются как произведение Q матрицы из шагов алгоритма.[8] (Для более общих матриц алгоритм QR дает Разложение Шура во-первых, из которого собственные векторы могут быть получены обратная замена процедура.[10]) Для эрмитовых матриц Алгоритм разделяй и властвуй на собственные значения является более эффективным, чем алгоритм QR, если требуются как собственные векторы, так и собственные значения.[8]

Дополнительные темы

Обобщенные собственные подпространства

Напомним, что геометрический кратность собственного значения можно описать как размерность соответствующего собственного подпространства, нулевое пространство λяА. Алгебраическая множественность также может рассматриваться как измерение: это измерение ассоциированного обобщенное собственное подпространство (1-е значение), которое является нулевым пространством матрицы (λяА)k за любой достаточно большой k. То есть это пространство обобщенные собственные векторы (в первом смысле), где обобщенный собственный вектор - это любой вектор, который в итоге становится 0, если λяА применяется к нему достаточно раз подряд. Любой собственный вектор является обобщенным собственным вектором, поэтому каждое собственное подпространство содержится в связанном с ним обобщенном собственном подпространстве. Это обеспечивает простое доказательство того, что геометрическая кратность всегда меньше или равна алгебраической кратности.

Это использование не следует путать с обобщенная задача на собственные значения описано ниже.

Сопряженный собственный вектор

А сопряженный собственный вектор или же конусный вектор - вектор, отправленный после преобразования в скалярное кратное его сопряженному, где скаляр называется сопряженное собственное значение или же конусное значение линейного преобразования. Собственные векторы и собственные значения представляют по существу ту же информацию и значение, что и обычные собственные векторы и собственные значения, но возникают при использовании альтернативной системы координат. Соответствующее уравнение

Например, в теории когерентного электромагнитного рассеяния линейное преобразование А представляет действие, выполняемое рассеивающим объектом, а собственные векторы представляют состояния поляризации электромагнитной волны. В оптика, система координат определяется с точки зрения волны, известной как Выравнивание с прямым рассеянием (FSA) и приводит к регулярному уравнению на собственные значения, тогда как в радар, система координат определяется с точки зрения радара, известной как Выравнивание обратного рассеяния (BSA), и приводит к уравнению на собственные значения.

Обобщенная проблема собственных значений

А обобщенная задача на собственные значения (во втором смысле) проблема поиска вектора v что подчиняется

куда А и B матрицы. Если v подчиняется этому уравнению, с некоторыми λ, затем мы звоним v то обобщенный собственный вектор из А и B (во втором смысле), и λ называется обобщенное собственное значение из А и B (во втором смысле), что соответствует обобщенному собственному вектору v. Возможные значения λ должен подчиняться следующему уравнению

Если п линейно независимые векторы {v1, ..., vп} можно найти так, что для каждого я ∈ {1, ..., п}, Среднийя = λяBvя, то определим матрицы п и D такой, что

Тогда имеет место равенство

И доказательство

И с тех пор п обратима, умножаем уравнение справа на обратное, завершая доказательство.

Набор матриц вида АλB, куда λ комплексное число, называется карандаш; период, термин матричный карандаш также может относиться к паре (А, B) матриц.[11]

Если B обратима, то исходную задачу можно записать в виде

что является стандартной проблемой собственных значений. Однако в большинстве ситуаций предпочтительнее не выполнять инверсию, а решать обобщенную проблему собственных значений, как было заявлено изначально. Это особенно важно, если А и B находятся Эрмитовы матрицы, поскольку в этом случае B−1А обычно не является эрмитовым, и важные свойства решения больше не очевидны.

Если А и B оба симметричны или эрмитовы, и B также положительно определенная матрица, собственные значения λя действительные и собственные векторы v1 и v2 с различными собственными значениями B-ортогональный (v1*Bv2 = 0).[12] В этом случае собственные векторы можно выбрать так, чтобы матрица попределенное выше удовлетворяет

или же ,

и существует основа обобщенных собственных векторов (это не дефектный проблема).[11] Этот случай иногда называют Эрмитово определенный карандаш или же определенный карандаш.[11]

Смотрите также

Примечания

  1. ^ Голуб и Ван Лоан (1996), п. 310)
  2. ^ Крейсциг (1972 г., п. 273)
  3. ^ Неринг (1970 г., п. 270)
  4. ^ Hayde, A. F .; Тведе, Д. Р. (2002). Шен, Сильвия С. (ред.). «Наблюдения за взаимосвязью между собственными значениями, шумом прибора и характеристиками обнаружения». Спектрометрия изображений VIII. Труды SPIE. 4816: 355. Bibcode:2002SPIE.4816..355H. Дои:10.1117/12.453777.
  5. ^ Twede, D. R .; Хайден, А. Ф. (2004). Шен, Сильвия С; Льюис, Пол Э (ред.). «Уточнение и обобщение расширенного метода обращения ковариационной матрицы путем регуляризации». Визуализирующая спектрометрия IX. Труды SPIE. 5159: 299. Bibcode:2004SPIE.5159..299T. Дои:10.1117/12.506993.
  6. ^ Хорн и Джонсон (1985), п. 133, теорема 2.5.3
  7. ^ Хорн и Джонсон (1985), п. 136, следствие 2.5.11
  8. ^ а б c d е ж Trefethen, Ллойд Н.; Бау, Дэвид (1997). Числовая линейная алгебра. СИАМ. ISBN  978-0-89871-361-9.
  9. ^ Ипсен, Ильзе и Ребекка М. Уиллс, Анализ и расчет рейтинга страниц Google, 7-й Международный симпозиум IMACS по итерационным методам в научных вычислениях, Институт Филдса, Торонто, Канада, 5–8 мая 2005 г.
  10. ^ Quarteroni, Alfio; Сакко, Риккардо; Салери, Фаусто (2000). «раздел 5.8.2». Вычислительная математика. Springer. п. 15. ISBN  978-0-387-98959-4.
  11. ^ а б c Bai, Z .; Деммель, Дж.; Dongarra, J .; Ruhe, A .; Ван дер Ворст, Х., ред. (2000). "Обобщенные эрмитовы задачи на собственные значения". Шаблоны для решения алгебраических задач на собственные значения: Практическое руководство. Филадельфия: СИАМ. ISBN  978-0-89871-471-5.
  12. ^ Парлетт, Бересфорд Н. (1998). Симметричная проблема собственных значений (Перепечатка. Ред.). Филадельфия: Общество промышленной и прикладной математики. п. 345. Дои:10.1137/1.9781611971163. ISBN  978-0-89871-402-9.

Рекомендации

внешняя ссылка