1. 다 변량 확률변수 / 다 차원 확률변수 / 다중 확률변수
ㅇ 동일 표본공간에서 정의되는 여러 확률변수
- 확률변수들을 한번에 여러개 묶어놓은 것
. 1개 표본에 여러 확률변수가 동시에 관련되는 경우에,
. 여러 확률변수들을 동시에 고려함
ㅇ 다변량 확률변수의 例) 한 사람을 표본으로 추출할 때, 키,몸무게,혈압 등을 동시에 측정하는 상황
- 실제 과학,공학 문제 대부분이 다변량 구조를 갖음
. MIMO의 수신 신호 벡터, 머신러닝의 특징 벡터, 금융의 포트폴리오 수익률 등
2. 다변량 결합 확률적 표현 (☞ 결합 통계량 참조)
ㅇ 다변량 확률변수로 결합된 함수의 기대값
[# E[g(X_1,X_2,\cdots,X_n)] = \int^{\infty}_{-\infty}\cdots\int^{\infty}_{-\infty}
g(X_1,\cdots,X_n)f_{X_1,\cdots,X_n}(X_1,\cdots,X_n)dX_1\cdots dX_n #]
ㅇ 다변량 결합 누적분포함수(CDF)
[# F_{X_1,X_2,\cdots,X_n}(x_1,x_2,\cdots,x_n) = P[X_1\leq x_1,X_2\leq x_2,\cdots,X_n\leq x_n] #]
- n개 확률변수 모두가 각자의 임계값 이하일 동시 확률을 나타냄
ㅇ 다변량 결합 확률질량함수(PMF)
[# P_{X_1,X_2,\cdots,X_n}(x_1,x_2,\cdots,x_n) = P[X_1=x_1,X_2=x_2,\cdots,X_n=x_n] #]
- 이산형 확률변수에 해당
ㅇ 다변량 결합 확률밀도함수(PDF)
[# f_{X_1,X_2,\cdots,X_n}(x_1,x_2,\cdots,x_n) = \frac{\partial^nF_{X_1,X_2,\cdots,X_n}(x_1,x_2,\cdots,x_n)}{\partial x_1\partial x_2\cdots\partial x_n}#]
- CDF를 각 변수로 한 번씩 편미분한 혼합 편도함수임
- 비음수 조건 {#f\geq 0#}과 정규화 조건 {#\int\cdots\int f\,dx_1\cdots dx_n = 1#}을 만족해야 함
3. 확률 벡터 / 랜덤 벡터 / 벡터 확률변수
ㅇ 다변량 확률변수를 벡터로 표기한 것
- 확률 벡터 : {# \mathbf{X} = [X_1 \; X_2 \; \cdots \; X_n]^T #}
- 랜덤 표본값 : {# \mathbf{x} = [x_1 \; x_2 \; \cdots \; x_n]^T #}
ㅇ 특징
- (연관성) 원소들 간에 어떤 연관성이 존재 함
- (확률값) 매 원소가 0~1인 확률값을 갖는 확률변수로 이루어짐
- (총 확률값) 모든 원소가 합해지면 확률값 1 이 됨
* 한편, 여러 확률벡터를 함께 고려하는 경우는, ☞ 확률행렬 참조
4. 확률 벡터의 통계량 표현 : (다변량 확률 변수 간 상관성을 나타내보임)
ㅇ 확률 벡터의 기대값 => 평균 벡터 (Mean Vector)
[# \mathbf{μ} = E[\mathbf{X}]
= E \begin{bmatrix} X_1 \\ X_2 \\ \vdots \\ X_n \end{bmatrix}
= \begin{bmatrix} E[X_1] \\ E[X_2] \\ \vdots \\ E[X_n] \end{bmatrix}
= \begin{bmatrix} μ_1 \\ μ_2 \\ \vdots \\ μ_n \end{bmatrix}
#]
- 각 원소의 1차 모멘트를 모은 벡터로, 전체 분포의 "무게중심"을 n차원 공간에서 나타냄
- (기대값의 선형성)
. 선형 변환 {#\mathbf{Y}=A\mathbf{X}+\mathbf{b}#}에 대해, {#E[\mathbf{Y}]=A\boldsymbol{\mu}+\mathbf{b}#}가 성립함
ㅇ 확률 벡터의 분산 => 공분산 행렬 (Covariance Matrix)
[# Cov[\mathbf{X}] = E[(\mathbf{X}-\mathbf{μ})(\mathbf{X}-\mathbf{μ})^T] \\
\qquad\quad = \begin{bmatrix}
Cov[X_1,X_1] & Cov[X_1,X_2] & \cdots & Cov[X_1,X_n] \\
Cov[X_2,X_1] & Cov[X_2,X_2] & \cdots & Cov[X_2,X_n] \\
\vdots & \vdots & \vdots & \vdots \\
Cov[X_n,X_1] & Cov[X_n,X_2] & \cdots & Cov[X_n,X_n] \\
\end{bmatrix} \\
\qquad\quad = \begin{bmatrix}
σ_{11} & σ_{12} & \cdots & σ_{1n} \\
σ_{21} & σ_{22} & \cdots & σ_{2n} \\
\vdots & \vdots & \vdots & \vdots \\
σ_{n1} & σ_{n2} & \cdots & σ_{nn} \\
\end{bmatrix}
#]
- 한편,
. (대칭성) 공분산 행렬은, {# σ_{ij} = Cov[X_i,X_j] = Cov[X_j,X_i] = σ_{ji} #}인 대칭 행렬 임
. (대각 원소) {# σ_{ii} = σ_i^2 = Var[X_i] #}
. (명칭) 공분산 행렬, 분산 공분산 행렬, 분산 행렬 등
ㅇ 확률 벡터의 상관계수 => 상관계수 행렬
[# \mathbf{R} = \begin{bmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\
\rho_{21} & 1 & \cdots & \rho_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
\rho_{n1} & \rho_{n2} & \cdots & 1 \end{bmatrix} #]
[# \rho_{ij} = \frac{\text{Cov}[X_i, X_j]}{\sigma_i \sigma_j} =
\frac{\sigma_{ij}}{\sigma_i \sigma_j}, \qquad -1 \leq \rho_{ij} \leq 1 #]
- (차원의 정규화)
. 공분산 {#\sigma_{ij}#}는, 두 변수의 단위(scale)에 의존하지만,
. 상관계수 {#\rho_{ij}#}는, [-1,1] 범위로 정규화되어, 단위 무관하게 선형 의존도 비교 가능
- (대각 원소) {#\rho_{ii}=1#} (자기 자신과의 상관계수는 항상 1)
- (대칭성) {#\rho_{ij}=\rho_{ji}#}이므로 상관계수 행렬도 대칭 행렬
- (독립과 무상관)
. "독립 {#\Rightarrow#} {#\rho_{ij}=0#} (무상관)"
. 위의 역은 일반적으로 성립하지 않으나,
. 다변량 정규분포에서는, "무상관 {#\Leftrightarrow#} 독립"이 성립