1. 정보 이론 (Information Theory)
ㅇ 통신시스템에서, 전달되는 정보의 정량화 및 그 처리,전달 용량의 한계 및 기준을 설명하는 이론
- 즉, `정보의 측정(정보량)` 및 `전송 제약/한계(채널용량)`에 대한 이론 ☞ 샤논 정리 참조
ㅇ 통신 시스템의 성능 특성에 대한 정량화된 중요한 관점 제시
2. 정보 이론이 제기하는 주요 개념/질문/의문점
ㅇ 정보이론 상으로 정보는 무엇이며, 이의 정량적 측정량은 ?
⇒ 정보량
. 정보량은 발생 확률에 반비례
ㅇ 잡음이 존재하는 통신 채널 상에서 과연 전달할 수 있는 최대 정보량은 ?
⇒ 채널용량
. 부호화의 도움으로 달성할 수 있는 이론적 한계치
ㅇ 정보원(Source)이 가지는 정보량의 크기는? 또는 메세지를 표현할 때에 정말 필요
한 워드(부호어)의 평균 길이는?
⇒ 엔트로피
. 정보원이 갖는 확률적인 특성 (정보원의 평균적 불학실성)
3. 정보 이론의 응용
ㅇ 물리적인 신호나 채널의 직접적인 해석 보다는,
ㅇ 주로, 통신시스템의 모델링이나 분석 및 성능 평가에 이용됨