1. 어텐션 (Attention) : (주의 메커니즘)
ㅇ 텍스트 내 문맥을 인코딩하는 메커니즘 중 하나
ㅇ 입력 데이터 전체 중에, 현재 처리에 중요한 정보에 더 큰 가중치를 두어 참조하는 메커니즘
- 즉, 현재 정보 처리에 필요한 부분에 선택적으로 집중하도록 하는 메커니즘
. 각 입력 요소 간의 관련성(유사도)을 계산하여,
. 중요한 정보에는 큰 가중치(weight),
. 덜 중요한 정보에는 작은 가중치를 부여함
- 특히,
. 문맥(Context) 내 단어 간 관계,
. 멀리 떨어진 정보 간 연관성(Long-range Dependency)을 효과적으로 반영 가능
- 쉽게,
. 책 읽을 때, 모든 단어를 동일하게 보지 않고,
. 현재 문맥상 중요한 부분에 시선을 집중하는 것
2. 어텐션의 특징
ㅇ 중요 정보 선택적 집중 : 현재 처리 대상과 관련성이 높은 입력에 더 집중함
ㅇ 가중합(Weighted Sum) 기반 정보 통합 : 중요도에 따라 정보를 결합하여 표현 생성
ㅇ 병렬 처리에 유리 : 순차 처리 중심의 RNN 계열 대비, 대규모 병렬 연산에 적합함
ㅇ Transformer 구조의 핵심 요소 : 현대 LLM 및 생성형 AI의 핵심 기반 기술
3. 어텐션의 동작 방식
ㅇ 현재 처리 대상(Query)과, 각 입력 정보(Key) 간의 관련성을 계산하여,
- 중요도(Attention Weight)를 구한 후,
- 그 가중치를 이용해,
- 정보(Value)를 가중합하여 최종 표현을 생성함
4. 어텐션의 종류
ㅇ Self-Attention : 동일 입력 내부 요소들 간 관계를 계산
ㅇ Multi-Head Attention : 여러 관점의 Attention을 병렬 수행
ㅇ Cross-Attention : 서로 다른 입력 간 관계를 계산