LLM   Large Language Model   대규모 언어 모델

(2026-05-03)

1. LLM (Large Language Model, 대규모 언어 모델)

  ㅇ 방대한 텍스트 데이터를 학습하여,
     - 인간의 언어를 이해하고 생성하는 인공지능 모델


2. 핵심 특징

  ㅇ 대규모 학습 (Large-scale Training)
     - 수십억 ~ 수조 단어 수준 데이터로 학습
  ㅇ 확률 기반 예측
     - 다음에 올 단어(토큰)를 확률적으로 예측
  ㅇ 문맥 이해 (Context Awareness)
     - 앞뒤 문장을 고려하여 의미를 파악
  ㅇ 생성 능력 (Generation)
     - 질문 답변, 요약, 번역, 코드 생성 등 수행


3. 기본 원리

  ㅇ 언어 모델 (Language Model)
     - 문장의 확률을 모델링  :  P(문장) = P(w1,w2,...,wn)
  ㅇ 자기 회귀 구조 (Autoregressive)
     - 이전 단어를 기반으로 다음 단어 생성
  ㅇ Transformer 기반
     - Attention 메커니즘으로 단어 간 관계 학습


4. 주요 구성

  ㅇ 토큰화 (Tokenization)
     - 텍스트를 처리 가능한 단위(토큰)로 분할하는 과정
        . 문장을 개별 단어나 부분 단어로 분할하는 등
  ㅇ 임베딩 (Embedding)
     - 단어/형태소의 의미를 포착하기 위한 벡터 공간 표현
        . 특성이 담긴 숫자 체계로 변환하는 작업
  ㅇ 어텐션 (Attention)
     - 중요한 단어에 가중치를 두는 메커니즘


5. 활용 분야

  ㅇ 자연어 처리 (NLP)  :  번역, 요약, 분류, 질의응답
  ㅇ 코드 생성  :  프로그래밍 자동화
  ㅇ 대화형 AI  :  챗봇, 가상 비서

     
6. 한계

  ㅇ 환각 (Hallucination)  :  사실이 아닌 내용을 생성
     - RAG (Retrieval-Augmented Generation, 검색 증강 생성)
        . 외부 지식을 검색하여 환각과 최신 정보 부족 문제를 보완
  ㅇ 데이터 편향  :  학습 데이터에 의존
  ㅇ 자원 소모  :  학습/추론에 큰 자원 필요
     - 例) GPT-3 경우에, 1,750억개 파라미터

▷ LLM, NLP
1. 자연어 처리 (NLP)   2. 자연어 처리 용어   3. N-gram   4. 편집 거리   5. 언어 모델   6. 대규모 언어 모델 (LLM)   7. 토큰화   8. 임베딩   9. 어텐션   10. 트랜스포머   11. 검색 증강 생성 (RAG)  
용어해설 종합 (단일 페이지 형태)

"본 웹사이트 내 모든 저작물은 원출처를 밝히는 한 자유롭게 사용(상업화포함) 가능합니다"
     [정보통신기술용어해설]