Maximum Likelihood Estimation (MLE) - 최대 관음도 추정
•
observation 을 가장 잘 설명하는 theta를 찾아내는 과정
Overfitting
•
지시선 경계선이 아닌 주어진 데이터에 대해서 과도하게 fitting 되어버린 케이스
•
Traing set에서 학습 → Dev set(Validation set)에서 검증 받은 후 → Test set 테스트하면 좋은 결과 나올 가능성 up
→ 막는 방법
•
More Data
•
Less features
•
Regularization
Regularization
→ Overfitting 방지
•
Early Sopping
◦
Validation Loss 가 더이상 낮아지지 않을 때
•
Reducing Network Size
•
Weight Decay
•
Dropout
•
Batch Normalization
Basic Approach to Train DNN
1.
뉴럴 네트워크 아키텍쳐를 만들어라
2.
모델이 over-fitted 될때까지 학습하고 체크하라
a.
만약 되지 않는다면 모델 사이즈를 늘려나간다
b.
만약 되었다면, drop-out, batch-normalization 같은 regularization을 더하라
3.
step2 를 반복