최적화 주요 용어
Gradient Descent
•
First-order(1차 미분) iterative optimization algorithm for finding a local minimum of a differentiable function
Optimization
Generalization
•
일반화 성능을 높이는 것이 목적
•
Training error 와 Test error 사이(Generalization gap) 차이를 줄여주는 것
•
Overfitting
◦
일반적으로 학습데이터 상태에서는 잘 동작하지만, 테스트 데이터에 대해서 잘 동작하지 않는 현상
•
Underfitting
◦
학습데이터 조차 잘 동작하지 않는 상태
Cross-validation
•
model validation technique for assessing how the model will generalize to an independent (test) data set
•
데이터를 나눈다
학습에는 무조건 Training data 와 Validation data 만을 활용하여야 하고, Test data는 활용해서는 안된다.
Bias and Variance
•
학습 데이터에 noise 가 껴 있다고 가정했을 때, 내가 타겟 데이터를 minimalize 하는 것을 세가지로 나눌 수 있다. (Tradeoff)
•
We can derive that what we are minimizeing (cost) can be decomposed into three different parts
◦
bias, variance, noise
Bootstrapping
•
Bootstrapping is any test or metric that uses random sampling with replacement.
◦
각각의 모델마다 다양한 값들이 얼마나 일치하는지 본다
Bagging vs Boosting
•
Bagging (Bootstrapping aggregating)
◦
Multiple models are being trained with bootstrapping.
◦
학습데이터가 고정되어 있을 때, 다 사용하는게 아니라, 학습데이터를 여러개 만든다 (Bootstrapping)
•
Boosting
◦
It focuses on those specific training samples that are hard to classify.
◦
A strong model is built by combining weak learners in sequence where each learner learns from the mistakes of the previous weak learner.
◦
여러개의 모델을 만들어서 합친다 (하나하나의 모델(Weak learner) 들을 sequencial 하게 합쳐서 하나의 Strong learner로 만든다.