1. 트랜스포머
ㅇ 자연어,이미지 등의 데이터를 병렬적으로 처리하면서,
- 입력 내부의 관계를 주의(attention)로 학습하는 인공지능 모델 구조
2. 핵심 개념어
ㅇ Attention (주의, 어텐션)
- 중요한 단어에 가중치를 두는 메커니즘
. 중요한 정보에 집중하고 덜 중요한 정보는 약화
.. 입력 요소들 간의 중요도(가중치)를 계산하여, 정보의 영향력을 조절 가능
ㅇ Self-Attention (자기 주의)
- 하나의 입력 내, 각 요소가 다른 요소들과의 관련성(의존성)을, 가중치로 계산
. 입력 내 모든 단어가 다른 모든 단어를 직접 참조 가능
. 거리와 무관하게 (멀리 있어도 바로 연결) → 장거리 의존성 문제 해결
ㅇ 장거리 의존성 학습 (Long-range dependency)
- 멀리 떨어진 요소 간 의미 연결 관계를 유지,이해하는 능력
ㅇ 병렬 처리 (Parallel Processing)
- 순차 처리 없이 전체 입력을 동시에 계산함 (속도 ↑)
3, Transformer[AI] 기반 모델
ㅇ BERT (Bidirectional Encoder Representations from Transformers)
- 양방향 문맥 인코딩
- 이해(분류,질문응답) 중심
- 표현 모델 (인코더 기반 모델)
ㅇ GPT (Generative Pre-trained Transformer)
- 단방향(자기회귀) 생성 모델
- 확률적 다음 토큰 예측
- 생성 모델 (디코더 기반 모델)