1. 평균 상호 정보 (Average Mutual Information) 또는, 시스템 상호 정보
※ 자기 정보, 조건부 정보, 상호 정보와는 달리,
- 두 사건을 각각 개별적으로 정하거나 연결짓지 않고,
- 두 사건 집합 {# X = \{x_i\}^{|X|}_{i=1}, Y = \{y_j\}^{|Y|}_{j=1} #} 전체를 평균적 관점에서 바라다 봄
ㅇ 평균 상호 정보의 정의
- 두 확률변수 집합 {# X = \{x_i\}^{|X|}_{i=1}, Y = \{y_j\}^{|Y|}_{j=1} #} 간의 평균적인 정보 교환량
[# I(X;Y) = E_{x,y} \left[ \log_2 \frac{P(x_i|y_j)}{P(x_i)} \right] \\
\qquad\qquad = \sum_{x,y} P(x_i,y_j)I(x_i;y_j) \\
\qquad\qquad = \sum_{x,y} P(x_i,y_j) \log_2 \frac{P(x_i|y_j)}{P(x_i)} #]
ㅇ 평균 상호 정보의 의미
- 정보 채널을 통해, 전송된 평균 정보량 (수신측이 평균적으로 얻을 수 있는 정보량)
. 즉, 송신원 정보의 평균 전송 효율을 나타냄
ㅇ 평균 상호 정보의 성질
- 양수성 : {# I(X;Y) ≥ 0 #}
- 교환성 : {# I(X;Y) = I(Y;X) #}
- 결합성 :
[# I(X;Y)=\sum^{J-1}_{j=0}\sum^{K-1}_{k=0}p(x_j,y_k)\log_2 \frac{p(x_j|y_k)}{p(x_j)} \\
\qquad\qquad = \sum^{J-1}_{j=0} \sum^{K-1}_{k=0} p(x_j,y_k)\log_2\frac{p(y_k|x_j)}{p(y_k)} #]
ㅇ 평균 상호 정보와 엔트로피 간의 관계
[# I(X;Y) = H(X) - H(X|Y) #]
2. 채널을 통한 상호 정보량의 해석
ㅇ 해석
- 채널을 통해 실제로 전달된 정보량으로써,
. 채널에 대한 정보공학적(확률적) 특성을 나타냄
- 이는, 두 정보량(확률량)의 차이로 해석됨
. 사전 확률에 의한 정보량 : (전송하기전 원래 갖고있던 정보량)
.. 전송 전 송신원 정보의 정보량(평균적 불확실량) : ( H(X) )
. 사후 확률에 의한 정보량 : (수신된 심볼을 바탕으로, 송신 심볼에 기대되는 정보량)
.. 수신 후 남은 정보량(평균적 불확실량) : ( H(X|Y) )
- 따라서, {# I(X;Y) = H(X) - H(X|Y) #}
ㅇ 분류
- 전향 조건 상호 정보 (Forward Conditional Mutual Information)
. {#P(x|y)#} 기준으로 계산된 평균 상호정보
.. 전향 조건확률에 의한 평균
- 후향 조건 상호 정보 (Backward Conditional Mutual Information)
. {#P(y|x)#} 기준으로 계산된 평균 상호정보
.. 후향 조건확률에 의한 평균
- 시스템 상호 정보 (System Mutual Information)
. 전체 채널을 통해 전달된 평균 정보량