1. 파라미터
ㅇ 기계학습에서, 파라미터는, 사전 설정 값 또는 모델이 학습으로부터 자동 조정하는 값
- 하이퍼 파라미터(학습률 등)는, 학습 전이나 중간에 외부(사용자)로부터 설정하는 것이며,
- 모델 파라미터(가중치,편향 등)는, 학습을 통해 내부에서 자동으로 업데이트 되는 것임
2. 하이퍼 파라미터 (Hyperparameter)
ㅇ 학습 전에 사람(사용자)이 설정하는 값
ㅇ 주요 例)
- 학습률 (Learning Rate)
. 가중치와 편향의 업데이트 크기 (학습 속도) 조절
.. 학습률 값이 너무 높으면, 불안정,발산하고,
.. 학습률 값이 너무 낮으면, 학습이 느려져, 수렴 못할 수 있음
. 최적화 알고리즘의 조정 매개변수
.. 통상, 손실 함수의 최소값을 향해 이동하면서, 각 반복에서 단계 크기를 결정하게됨
- 배치 크기 (Batch Size)
. 한 번의 학습에서 사용하는 데이터 샘플의 개수
. 모델의 업데이트 빈도에 영향을 미침
.. 소규모 배치 : 더 빠른 업데이트, 높은 노이즈
.. 대규모 배치 : 안정적인 학습, 높은 계산 비용
- 에포크 (Epoch)
. 전체 데이터셋을 한 번 완전히 학습하는 과정의 횟수
. 적정 값을 설정하지 않으면 과적합(overfitting) 또는 과소적합(underfitting) 발생
- 정규화 강도 (Regularization Strength)
. 과적합 방지를 위해 가중치 값에 규제를 가하는 정도
.. L1 정규화 : 가중치의 절대값 합을 최소화
.. L2 정규화 : 가중치의 제곱합을 최소화
- 드롭아웃 비율 (Dropout Rate)
. 학습 중 일부 뉴런의 출력을 랜덤하게 0으로 설정하는 비율
. 과적합을 방지하고 일반화 성능을 향상
- 네트워크 구조 (Network Architecture) 관련
. 신경망의 층 수, 각 층의 뉴런 개수, 활성화 함수 종류 등
.. 레이어 수 (은닉층 수), 입력/출력 차원, CNN의 커널 크기, RNN의 시퀀스 길이 등
3. 모델 파라미터 (Model Parameter)
ㅇ 모델의 학습을 통해 결정되며, 최적화 과정에서 업데이트되는 값들
- 최적화 알고리즘(경사하강법 등)에 의해 자동 조정됨
ㅇ 주요 例)
- 가중치 (Weight)
. 각 뉴런 간 연결의 강도를 나타내는 값
. 입력 데이터를 뉴런에 전달하며 곱해져 뉴런의 출력에 영향을 미침
. 학습 데이터로부터 패턴을 모델링하는 핵심 요소
- 편향 (Bias)
. 뉴런에 더해지는 추가적인 상수 항
. 출력값을 특정 방향으로 이동시키는 역할
. 모델이 더 복잡한 패턴을 학습할 수 있도록 도와줌
- 활성화 함수 출력 값
. 활성화 함수(예: ReLU, Sigmoid, Tanh)를 통해 계산된 각 뉴런의 최종 출력 값
. 모델에 비선형성을 추가하여 복잡한 데이터 관계를 학습하게 함