1. 행렬 분해 ☞ 인수분해 참조
ㅇ 행렬을 더 단순한 (작은, 열과 행들에 의한) 다른 행렬들의 곱으로 나타냄
- 특히, 특정 구조를 갖는 2 이상의 다른 행렬들의 곱으로 나타내는 것
ㅇ 한편,
- 행렬 분해 (Matrix Decomposition) : 1개 행렬을 여러 개의 행렬의 곱으로 분해
- 스펙트럼 분해 (Spectral Decomposition) : 1개 행렬을 여러 개의 행렬의 합으로 분해
2. 행렬 분해의 종류
ㅇ LU 분해 (LU Decomposition, LU Factorization)
- 계수행렬을 하 삼각행렬 및 상 삼각행렬의 곱으로 분해
- A = L U
. L은 하 삼각행렬 (가우스소거법에 의해 변환된 행사다리꼴 행렬)
. U는 상 삼각행렬
ㅇ QR 분해
- 직교행렬 및 상 삼각행렬의 곱으로 분해
- A = Q R
. A : 열벡터가 선형독립인 m x n 행렬
. Q : 정규직교 열벡터를 갖는 행렬
. R : 가역행렬인 상 삼각행렬
- 특징
. 직교 분해의 성질을 이용
ㅇ 대각화 분해 (Diagonalization)
- 정방행렬를 고유값과 고유벡터를 이용하여 대각행렬로 변환하는 분해
- A = S D S-1
. A : 대각화 가능한 정방행렬
.. 이 경우에, 가역행렬과 대각행렬로 분해 가능
. S : 가역 행렬
.. A의 선형독립인 고유벡터들을 열벡터로 갖는 행렬
. D : 대각 행렬
.. 주대각선 성분이 A의 고유값들에 해당
. S-1 : S의 역행렬
- 특징
. 정방행렬에 대해서 정의되지만, 모든 정방행렬이 대각화 가능한 것은 아님
. n차 행렬의 경우, n개의 선형독립인 고유벡터가 존재해야 함
. 행렬의 거듭제곱 계산이 용이함
.. Ak = S Dk S-1
ㅇ 고유값 분해 (EVD, Eigenvalue Decomposition)
- 모든 대칭행렬 A는, 그의 고유벡터,고유값들로, 다음과 같이 분해 가능
. 행렬의 고유값 분해는 세 행렬의 곱으로 나타낼 수 있음
- A = P D PT
. A : 대칭행렬
. P : 대칭행렬 A의 `고유벡터`들로 이루어진 n x n 직교행렬
. D : 주대각성분이 P의 열벡터에 대응하는 A의 `고유값`들인 대각행렬
- 특징
. 다만, 선형독립인 n x n 정방행렬에 만 적용 가능
.. (선형독립 : 벡터 v가 영 벡터인 경우에 만, A v = 0을 만족하는 행렬)
. 고유값 분해는, 행렬을 고유 기저(자신의 기저)에 대해 표현하는, 기저 변환 작업 임
ㅇ 특이값 분해 (SVD, Singular Value Decomposition)
- 직교 정사각행렬을, 고유값을 기저로 하여, 대각행렬로 분해
- 특이값 (Singular Value)
. ATA에 대한 고유값(λ)의 양의 제곱근 : σ = √λ
.. 여기서, A는 m x n 실수 행렬
- 행렬을 3개의 행렬 곱으로 표현 : A = U Σ VT
. A : m x n 행렬, U : m x m 정방행렬, Σ : m x n 행렬, VT : n x n 정방행렬
. U,V 는, 직교행렬인 정방행렬 (U ∈ Rmxm, V ∈ Rnxn)
. Σ 는, 직사각 대각행렬 (Σ∈ Rmxn)
.. 주대각성분이 A의 특이값이고 (큰 값부터 차례대로),
.. 나머지 성분이 0인 행렬
- 특징
. 적용 대상 행렬에 대한 제한이 없으므로, 널리 쓰이는 대표적인 방법
.. 굳이 n x n 정방행렬이 아니여도, 일반적인 m x n 행렬도 분해 가능
.. 실수 행렬 뿐 만 아니라, 복소수 행렬에 대해서도 적용 가능
- 응용
. 주성분 분석
. 데이터 압축
. 의사 역행렬
. 호모그래피 등
ㅇ 숄레스키 분해 (Cholesky Decomposition)
- 대칭 양의 정부호 행렬을 하삼각행렬과 그 전치행렬의 곱으로 분해
- A = L LT
. A : 실수 대칭 양의 정부호(Symmetric Positive Definite) 행렬
. L : 주대각성분이 양수인 하삼각행렬
. LT : L의 전치행렬
- 특징
. 대칭 양의정부호 행렬에 대해서만 적용 가능
. LU 분해의 특수한 형태로 볼 수 있음
. 계산량이 LU 분해보다 적어 수치해석에서 널리 사용됨
. 분해 결과가 유일함
.. L의 주대각성분을 양수로 정하면 유일하게 결정됨