Activation Function   활성화 함수

1. 활성화 함수 (Activation Function)

  ㅇ 신경망에서, 입력 신호를 변환하여 출력 신호를 만드는, 비선형 함수

  ㅇ 비선형성을 도입하기 위해, 활성화 함수가 사용됨
     - 복잡한 패턴 학습
     - 신호의 강도 조절
     - 출력값의 범위 정규화 등이 가능

  ㅇ (뉴런 기능의 수학적 모델화)
     - 입력 데이터에 대해,
     - 가중치를 적용하고, 이 가중치의 합을 계산한 후, 
     - 활성화 함수를 통해, 최종 출력을 결정토록 함


2. 활성화 함수의 주요 종류

  ㅇ 시그모이드 함수 (Sigmoid Function)
      
[# σ(x) = \frac{1}{1+e^{-x}} #]
     - 값이 0 ~ 1 사이로 압축
     - 다중 클래스 분류에 사용

  ㅇ 소프트맥스 함수 (Softmax Function)
     - 확률값 출력 
     - 다중 클래스 분류에 사용

  ㅇ ReLU (Rectified Linear Unit)
      
[# ReLU(x) = max(0,x) #]
     - 기울기 소실(Vanishing Gradient) 문제 완화
     - 대부분의 은닉층에서 사용 

  ㅇ 하이퍼볼릭 탄젠트 함수 (tanh) 등