Спектральное разложение матрицы, или разложение матрицы по собственным векторам, — это факторизация вида
где — невырожденная матрица, столбцами которой служат собственные векторы матрицы , а — диагональная матрица соответствующих собственных значений.
В таком виде могут быть представлены только матрицы, обладающие полным набором собственных векторов, то есть имеющие n линейно независимых собственных векторов, где n — это порядок матрицы .
Эквивалентно спектральное разложение определяется как
.
Отсюда ясно, что если — -й столбец матрицы , а — -й диагональный элемент , то , то есть столбцы являются собственными векторами , а диагональ — соответствующие собственные значения.
Геометрически разложение описывает смену базиса. Для вычисления достаточно разложить по столбцам , применить и интерпретировать результат как вектор коэффициентов линейной комбинации столбцов . Формально: если и , то
.
Спектральное разложение может использоваться для нахождения собственных значений и собственных векторов матрицы, решения систем линейных уравнений, обращения матрицы, нахождения определителя матрицы и вычисления аналитических функций от матриц.
Теория собственных векторов и собственных значений матрицы
Ненулевой вектор размерности является собственным вектором квадратной матрицы , если он является решением уравнения ,
где — скаляр, называемый собственным значением матрицы и соответствующий собственному вектору . Иными словами, собственные векторы — это такие ненулевые векторы, что их образ при действии преобразования коллинеарен исходному вектору, а соответствующее собственное значение задаёт коэффициент масштабирования (в комплексном случае — поворот и масштабирование). Уравнение выше называется уравнением на собственные значения или задачей на собственные значения.
Разложение матрицы с помощью собственных векторов
Пусть будет квадратной матрицей, имеющей линейно независимых собственных векторов (). Тогда можно разложить , где является квадратной матрицей, -ым столбцом которой является собственный вектор матрицы , а является диагональной матрицей, диагональными элементами которой являются соответствующие собственные значения, . Заметим, что только диагонализируемые матрицы могут быть разложены таким образом. Например, матрица сдвига (жорданова клетка) недиагонализуема.
Обычно собственные векторы нормируют, но это не обязательно, в качестве столбцов матрицы может быть использован и ненормированный набор из собственных векторов .
Разложение может быть получено из фундаментального свойства собственных векторов:
Пример
Рассмотрим матрицу
Её собственные значения — и , а соответствующие собственные векторы:
Тогда спектральное разложение имеет вид , где
Обращение матрицы через разложение по собственным векторам
Пусть матрица имеет спектральное разложение и никакое из собственных значений матрицы не равно нулю. В этом случае матрица является невырожденной, а её обратная матрица находится по формуле
Если матрица является симметричной матрицей, тогда матрица гарантированно будет ортогональной, то есть . А поскольку матрица является диагональной, то её обратную легко вычислить:
Практическое значение Если разложение с помощью собственных векторов используется для матрицы, полученной при измерениях с реальными данными, то обратная матрица может быть хуже обусловлена, если все собственные значения используются в неизменной форме. Дело в том, что когда собственные значения становятся относительно малыми, вклад их обратных в обратную матрицу велик. Эти близкие к нулю значения или «шум» системы измерения будет иметь чрезмерное влияние и может помешать решению с помощью обращения.
Было предложено два варианта смягчения последствий: отбрасывание малых или нулевых собственных значений и замена малых собственных значений наименьшим надежным значением.
Первый вариант смягчения подобен разрежению исходной матрицы, в которой удаляются элементы, которые посчитали незначимыми. Однако, если процесс решения окажется близок к уровню шума, отбрасывание может удалить компоненты, которые влияют на желаемое решение.
Второй вариант смягчения копирует собственное значение, так что меньшие значения имеют меньшее влияние на результат обращения, но по-прежнему вносят вклад, так что могут быть найдены решения, даже близкие к уровню шума.
Надёжное собственное значение может быть найдено в предположении, что собственные значения крайне близки и низкое значение является хорошим представлением шума измерения (который предполагается низким для большинства систем).
Если собственные значения выстроены по величине, надёжное собственное значение может быть найдено путём минимизации лапласиана отсортированных собственных значений:
,
где собственные значения помечены буквой для обозначения сортировки (от английского sorted). Место минимума является наименьшим надёжным собственным значением. В системах измерения квадратный корень из этого надёжного собственного значения является средним шумом относительно других компонент системы.
Функциональное исчисление
Пусть квадратная матрица имеет разложение . Тогда возведение матрицы в натуральную степень считается по простой формуле:
здесь в промежуточном выражении сокращаются произведения . Операция возведения в натуральную степень позволяет определить над матрицами различные функции, которые выражаются в виде степенных рядов.
Разложение матрицы по собственным значениям позволяет быстрее вычислить степенной ряд от матрицы. Пусть задается степенным рядом
В соответствии с формулой для степени от матрицы выше, степенной ряд для матрицы можно посчитать по формуле ,
где — функция от диагональной матрицы , которая может быть очень легко вычислена:
При этом недиагональные элементы матрицы равны нулю. То есть, также является диагональной матрицей. В результате, вычисление функции от матрицы сводится к простому вычислению функции от каждого из собственных значений.
Похожая техника работает и в более общем виде в . Она распространяется на степенные ряды с отрицательными степенями, используя то же соотношение.
.
Примеры Квадратный корень из матрицы:
Возводим в квадрат и убеждаемся в корректности:
Аналогичным образом определяется экспонента матрицы :
Разложение специальных матриц Нормальные матрицы Комплексная квадратная матрица нормальна (что означает, что , где является эрмитово-сопряжённой) тогда и только тогда, когда она может быть разложена
где является унитарной (что означает, что ) и является диагональной матрицей. Столбцы матрицы образуют ортонормальный базис и являются собственными векторами матрицы с соответствующими собственными значениями .
В случае, когда - эрмитова матрица имеет только вещественные значения. Если же унитарна, то все .
Вещественные симметричные матрицы
Для любой вещественной симметричной матрицы собственные значения вещественны и собственные векторы можно выбрать вещественными и ортонормальными. Таким образом, вещественная симметричная матрица может быть разложена в
где — ортогональная матрица, столбцами которой служат собственные векторы матрицы , а — диагональная матрица, у которой значения на диагонали равны собственным значениям матрицы .
Полезные факты Полезные факты о разложении с помощью собственных векторов
Матрица может быть разложена с помощью собственных векторов тогда и только тогда, когда число линейно независимых собственных векторов равно размерности собственного вектора: Если не имеет кратных корней, то есть, если , то может быть разложена. Из утверждения «матрица может быть разложена» не следует, что имеет обратную. Из утверждения «матрица имеет обратную » не следует, что может быть разложено с помощью собственных векторов. Контрпримером является матрица , которая является обратимой .
Полезные факты об обратной матрице
Матрица обратима тогда и только тогда, когда
Если и , обратная матрица задаётся равенством
Численные вычисления
Численное вычисление собственных значений Предположим, что требуется вычислить собственные значения заданной матрицы. Если размеры матрицы малы, собственные значения могут быть вычислены символьно с помощью характеристического многочлена. Однако это часто невозможно для больших матриц, и в этом случае используются численные методы.
На практике собственные значения больших матриц не вычисляются с помощью характеристического многочлена. Вычисление многочлена становится само по себе трудоёмким и затратным по времени, а точные (символьные) корни многочлена высокой степени трудно вычислить и выразить — из теоремы Абеля о неразрешимости уравнений в радикалах следует, что корни многочленов высокой степени (5 и выше) не могут быть в общем случае представлены как выражения от корней -ой степени. По этой причине общие алгоритмы поиска собственных векторов и собственных значений работают итеративно.
Существуют итеративные численные алгоритмы аппроксимации корней многочленов, такие как метод Ньютона, но, как правило, непрактично строить характеристический многочлен, а затем применять эти методы. Одной из причин является то, что малые в коэффициентах характеристического многочлена могут привести к большим ошибкам в собственных значениях и собственных векторах — корни являются крайне плохо обусловленными функциями коэффициентов.
Простым и точным итеративным методом является степенной метод — выбирается случайный вектор и вычисляется последовательность единичных векторов
Эта последовательность почти всегда сходится к собственному вектору, соответствующему собственному значению наибольшей величины, при условии что проекция вектора на направление этого собственного вектора отлична от нуля. Этот простой алгоритм полезен в некоторых практических приложениях. Например, Google использует его для вычисления PageRank(ссылочного ранжирования) документов в своей поисковой системе. Также степенной метод является отправной точкой для многих других сложных алгоритмов. Например, если хранить не только последний вектор последовательности, а смотреть в линейной оболочке всех векторов последовательности, можно получить более точное приближение собственного вектора. Эта идея лежит в основе итерации Арнольди. QR-алгоритм также основан на слегка изменённом степенном методе.
Численное вычисление собственных векторов
Если собственные значения вычислены, собственные векторы можно вычислить путём решения уравнения
с помощью исключения Гаусса или любого другого метода решения матричного уравнения.
Однако, в практических методах нахождения собственных значений матриц большого размера собственные векторы обычно вычисляются другими способами как побочный продукт вычисления собственного значения. В степенном методе, например, собственный вектор вычисляется перед вычислением собственного значения (который обычно вычисляется согласно отношению Рэлея для собственного вектора). В QR-алгоритме для эрмитовой матрицы (или любой нормальной матрицы), ортонормальные собственные векторы получаются как произведение матриц из шагов алгоритма. (Для матриц более общего вида QR-алгоритм сначала осуществляет разложение Шура, из которого собственные векторы могут быть получены обратной подстановкой) Для эрмитовых матриц более эффективен чем QR-алгоритм, если нужны как собственные векторы, так и собственные значения.
Дополнительные темы Обобщённые собственные пространства