Self Information, Mutual Information, Average Mutual Information   자기 정보, 상호 정보, 평균 상호정보

(2022-07-18)

1. 자기 정보 (Self-information)

  ㅇ 다른 사건과는 관련없이 순전히 단일 사건 만의 발생 확률에 근거한 정보량
       
[# I(x_i) = \log_2 \frac{1}{P(x_i)} #]
2. 조건부 자기 정보 (Conditional Self Information) ㅇ 사건 yj가 주어졌다는 가정하에, 사건 xj가 발생되는 조건부 확률에 근거한 자기 정보량
[# I(x_i|y_j) = \log_2 \frac{1}{P(x_i|y_j)} = - \log_2 P(x_i|y_j) #]
2. 상호 정보 (Mutual Information) ㅇ 사건 정보들 간에 서로 관계짓는 결합에 근거한 정보량
[# I(x_i;y_j) = \log_2 \frac{P(x_i|y_j)}{P(x_i)} = \log_2 \frac{P(y_j|x_i)}{P(y_j)} = I(y_j;x_i) \\ \qquad \frac{P(x_i|y_j)}{P(x_i)} = \frac{P(x_i|y_j)P(y_j)}{P(x_i)P(y_j)} = \frac{P(x_i,y_j)}{P(x_i)P(y_j)} = \frac{P(y_j|x_i)}{P(y_j)} #]
- I(xi;yj) . 사건 yj를 관찰하고 나서, .. 이를 토대로, 사건 xi (i=1,2,...,n)에 대해 제공하는 (알게되는) 정보량 . 사건 yj의 발생 사실을 알고 나서, .. 사건 xi에 대한 불확실성이 감소되는 정도 . 송수신 간에 전달되는 정보량 ㅇ 상호 정보량의 성질 - 사건들이 통계적 독립이면 즉, P(xi|yj) = P(xi) 일 때 . I(xi;yj) = 0 ⇒ 상호정보는 없음 .. (정보가 하나도 전달되지 않음, 둘 간에 연관성 전혀 없음) - 사건들이 완전히 종속적이면 즉, P(xi|yj) = 1 일 때 . I(xi;yj) = I(xi) ⇒ 상호정보 = 자기정보 .. (완전한 정보 전달, 이상적인 무잡음 전송) 4. 상호 정보, 자기 정보, 조건부 정보 간의 관계
[# I(x_i;y_j) = \log_2 \frac{P(x_i|y_j)}{P(x_i)} \\ \qquad\qquad = \log_2 \frac{1}{P(x_i)} - \log_2 \frac{1}{P(x_i|y_j)} \\ \qquad\qquad = I(x_i) - I(x_i|y_j) #]
5. 평균 상호정보 (Average Mutual Information) = 시스템 상호정보 ※ 위 1,2,3항과는 달리, - 두 사건을 각각 개별적으로 연결짓지 않고, - 두 사건 집합평균적 관점에서 바라다 보면, - 즉, 평균상호정보의 의미 - 정보채널을 통해 전송평균정보량 - 수신측이 채널을 통해 획득 가능한 정보량 - 수신된 심볼 당 송신원 정보의 평균 량 ㅇ 평균상호정보의 정의
[# I(X;Y) = E_{x,y} \left[ \log_2 \frac{P(x_i|y_j}{P(x_i)} \right] \\ \qquad\qquad = \sum_{x,y} P(x_i,y_j)I(x_i;y_j) \\ \qquad\qquad = \sum_{x,y} P(x_i,y_j) \log_2 \frac{P(x_i|y_j)}{P(x_i)} #]
평균상호정보의 특징 - 양수성 : I(X;Y) ≥ 0 - 교환성 : I(X;Y) = I(Y;X) - 결합성 : 평균상호정보 및 엔트로피 간의 관계 - I(X;Y) = H(X) - H(X|Y) 6. 채널을 통한 상호 정보량의 해석 ㅇ 의미 - 채널을 통해 전송정보량으로, 채널에 대한 정보공학적 특성을 나타냄 - 2가지 정보량의 차이 . 사전 확률에 의한 정보량(전송하기전 원래 갖고있던 정보량) . 사후 확률에 의한 정보량(수신된 심볼을 조건으로하여 송신심볼에 기대되는 정보량) ㅇ 종류 - 전향조건 상호정보 . 전향 조건확률에 의한 평균 - 후향조건 상호정보 . 후향 조건확률에 의한 평균 - 시스템 상호정보 . 정보채널을 통해 전송평균정보량



Copyrightⓒ written by 차재복 (Cha Jae Bok)
"본 웹사이트 내 모든 저작물은 원출처를 밝히는 한 자유롭게 사용(상업화포함) 가능합니다"