Gradient Descent Methods
Stochastic gradient descent
•
Update with the gradient computed from a single sample
•
데이터를 하나씩 사용하여 업데이트
Mini-batch gradient descent
•
Update with the gradient computed from a subset of data
•
주로 사용
Batch gradient descent
•
Update with the gradient comoputed from the whole data
•
한번에 데이터 다 사용하여 업데이트
Batch-size Matters
•
적절히 데이터를 사용하도록 Batch-size 조절
Gradient Descent
•
Learning rate 를 적절히 잡아주는 것이 중요