Transformer   트랜스포머

1. 트랜스포머

  ㅇ 자연어,이미지 등의 데이터를 병렬적으로 처리하면서, 
     - 입력 내부의 관계를 주의(attention)로 학습하는 인공지능 모델 구조


2. 핵심 개념어

  ㅇ Attention (주의, 어텐션)
     - 중요한 단어에 가중치를 두는 메커니즘
        . 중요한 정보에 집중하고 덜 중요한 정보는 약화
           .. 입력 요소들 간의 중요도(가중치)를 계산하여, 정보의 영향력을 조절 가능
  ㅇ Self-Attention (자기 주의)
     - 하나의 입력 내, 각 요소가 다른 요소들과의 관련성(의존성)을, 가중치로 계산
        . 입력 내 모든 단어가 다른 모든 단어를 직접 참조 가능
        . 거리와 무관하게 (멀리 있어도 바로 연결) → 장거리 의존성 문제 해결
  ㅇ 장거리 의존성 학습 (Long-range dependency)
     - 멀리 떨어진 요소 간 의미 연결 관계를 유지,이해하는 능력
  ㅇ 병렬 처리 (Parallel Processing)
     - 순차 처리 없이 전체 입력을 동시에 계산함 (속도 ↑)