1. 트랜스포머
ㅇ 자연어,이미지 등의 데이터를 병렬적으로 처리하면서,
- 입력 내부의 관계를 주의(attention)로 학습하는 인공지능 모델 구조
ㅇ (특징)
- 기존의 RNN, CNN 보다 순차 데이터를 더 효과적으로 처리 가능한 새로운 구조
- 문장 내 단어들의 맥락을 효과적으로 이해할 수 있게 함
2. 핵심 개념
ㅇ Attention (주의, 어텐션)
- 중요한 단어에 가중치를 두는 메커니즘
. 중요한 정보에 집중하고 덜 중요한 정보는 약화
.. 입력 요소들 간의 중요도(가중치)를 계산하여, 정보의 영향력을 조절 가능
ㅇ Self-Attention (자기 주의)
- 하나의 입력 내, 각 요소가 다른 요소들과의 관련성(의존성)을, 가중치로 계산
. 입력 내 모든 단어가 다른 모든 단어를 직접 참조 가능
. 거리와 무관하게 (멀리 있어도 바로 연결) → 장거리 의존성 문제 해결
ㅇ 장거리 의존성 학습 (Long-range dependency)
- 멀리 떨어진 요소 간 의미 연결 관계를 유지,이해하는 능력
ㅇ 병렬 처리 (Parallel Processing)
- 순차 처리 없이 전체 입력을 동시에 계산함 (속도 ↑)
3. 트랜스포머 기반 모델 : 사전 학습된 언어 모델
ㅇ BERT (Bidirectional Encoder Representations from Transformers)
- 양방향 문맥 인코딩
- 이해 (분류, 질문응답) 중심
- 표현 모델 (인코더 기반 모델)
ㅇ GPT (Generative Pretrained Transformer)
- 단방향 (자기 회귀) 생성 모델
- 확률적 다음 토큰 예측
- 생성 모델 (디코더 기반 모델)
※ (특징) 두 단계 학습 : 사전 훈련, 미세 조정
- 방대한 텍스트 데이터로 사전 학습시키며,
- 감정 분석, 기계 번역 같은 특정 작업에 맞춰, 미세 조정 수행
※ (단점)
- 모델 크기가 매우 커지므로, 훈련에 막대한 계산 자원 필요
- 때론, 부정확한 응답 생성
- 훈련 데이터에 포함된 편향 그대로 반영
- 훈련 데이터를 넘어선 세상에 대한 이해 부족
- 상식적 추론에 어려움 등