Information Theory   정보 이론

1. 정보 이론

  ㅇ 통신시스템에서 전달되는 정보의 정량화 및 그 처리,전달 용량의 한계 및 기준을 설명하는 이론
     - 즉, `정보의 측정(정보량)` 및 `전송 제약/한계(채널용량)`에 대한 이론      ☞ 샤논 정리 참조 


2. 정보 이론이 제기하는 주요 개념/질문/의문점

  ㅇ 정보이론 상으로 정보는 무엇이며, 이의 정량적 측정량은 ?
     ⇒ 정보량
        . 정보량은 발생 확률에 반비례

  ㅇ 잡음이 존재하는 통신 채널 상에서 과연 전달할 수 있는 최대 정보량은 ?
     ⇒ 채널용량
        . 부호화의 도움으로 달성할 수 있는 이론적 한계치

  ㅇ 정보원(Source)이 가지는 정보량의 크기는? 또는 메세지를 표현할 때에 정말 필요
     한 워드(부호어)의 평균 길이는? 
     ⇒ 엔트로피
        . 정보원이 갖는 확률적인 특성 (정보원의 평균적 불학실성)


3. 정보 이론의 응용

  ㅇ 물리적인 신호나 채널의 직접적인 해석 보다는, 
  ㅇ 주로, 통신시스템의 모델링이나 분석에 이용됨