Information Quantitation   정보량

1. 정보(량)

  ㅇ 정보는, 일견 추상적이지만, 
     - 이에대해 공학적인 설명 및 응용이 가능하려면,
     - 반드시, 측정이 가능한 (즉, 셀 수 있는) 물리량으로써,
     - 즉, 정보의 량(量)을 정의하여야 함  ☞ 아래 2.항 참조

  ※ [참고] 데이터를 정보로 변환하는 과정                ☞ 데이터, 데이터 분류, 데이터 표현 참조
     - 데이터(자료 : 단순 관찰 사실 값)  →  (가공/처리/변환)  →  정보


2. 정보의 정량화 (정보이론적 측면)

  ㅇ 정보의 가치는 당연한 사실일수록, 낮을 것이며,
  ㅇ 예측이 가능하지 않을수록, 즉 `불확실성(Uncertainty)`이 높을수록, 정보량이 많아질 것이고,
  ㅇ 정보가 예측가능한 것이라면, 정보의 가치가 없게 됨

  ※ 수학적으로, 발생 확률이 작을수록, 정보의 가치(크기)가 높아짐
     - 따라서, 정보량은 발생 확률의 반비례적인 함수이어야 됨


3. 정보량의 정의 및 단위

  ㅇ 정보량 정의 式  
     -  I(E) = log₂1/P(E) = - log₂P(E)   [bit]
        . 발생 확률 P(E)의 대수를 취하여 이에 (-) 부호를 붙인 것으로 정의함

          

  ㅇ 정보량 단위 : 주로, bit(비트)로 표현
     -  log 의 밑이  2 이면,  단위는 bit (비트, 실제적으로 많이 쓰이는 단위)
     -  log 의 밑이  e 이면,  단위는 nat (natural unit)
     -  log 의 밑이 10 이면,  단위는 hartley

     -  한편, 발생 확률이 1/10 이면, 1 hartley 라고 함
        .  例) 1 hartley = log10 (10) bit = log2 (10) bit = ln (10) nat
           

4. 정보량의 의미/성질/특징

  ㅇ 사건 발생 전에, 그 결과를 확신 (P=1)할 수 있으면, 정보는 없음
     - 즉, P(Ei)=1일 때, I(Ei)=0

  ㅇ 발생 확률이 낮은 사건일수록, 그 사건이 일어나면, 더 많은 정보가 얻어짐
     - 즉, P(Ei) < P(Ek)일 때, I(Ei) > I(Ek)

  ㅇ 통계적으로 독립이면, 각각의 정보량을 더하면됨 (Additive)
     - 즉, I(EiEk) = I(Ei) + I(Ek) = log₂(1/Pi) + log₂(1/Pk)

  ㅇ 정보량은 항상 양수 (0 이상)임
     - 즉, I(E) ≥ 0
        . (정보량을 정의하는 로그 함수는 항상 양수임)

  ㅇ 例)
     - 발생할 수 있는 2개 (2진) 사건 각각이, 동일 발생 확률 P(Ei) = 1/2일 때, 
        . I(Ei) = - log₂(1/2) = 1 비트이므로, 1 비트 정보량임
     - 발생할 수 있는 4개 (4진) 사건 각각이, 동일 발생 확률 P(Ei) = 1/4일 때, 
        . I(Ei) = - log₂(1/4) = log₂4 = 2 비트이므로, 2 비트 정보량임


5. [참고사항]

  ㅇ 평균적인 정보량   ☞  평균 정보량 (Entropy) 참조
     - 엔트로피 (Entropy) : 정보원이 갖는 심볼 당 평균 정보량

  ㅇ 결합사건에서의 정보량   ☞  자기정보량, 상호정보량 참조
     - 평균 자기정보량 (Entropy) 
     - 평균 상호정보량

  ㅇ 정보의 전송 속도  ☞  전송률(비트율) 참조