pytorch ckpt

check point file

# save checkpoint
torch.save({
    'model_state_dict': model.state_dict(),
    'optimizer_state_dict': optimizer.state_dict(),
    'epoch': epoch
}, "./checkpoint.tar")

# load checkpoint
checkpoint = torch.load("./checkpoint.tar")

model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
epoch = checkpoint['epoch']
Plain Text
복사

optimizer

옵티마이저는 학습 데이터(Train data)셋을 이용하여 모델을 학습 할 때 데이터의 실제 결과와 모델이 예측한 결과를 기반으로 잘 줄일 수 있게 만들어주는 역할을 한다.

결론부터 설명하자면 현재 가장 많이 사용하는 옵티마이저는 Adam이다. 활성화 함수(Activation Function)로 Relu를 가장 많이 활용하는 것처럼, Adam이 빠르기도 하면서 성능도 좋고 무난하다. 하지만 다른 옵티마이저를 무조건 쓰지 말라는 법은 없다. 프로젝트와 데이터 별로 미묘하게 다른 옵티마이저가 더 좋을수도 있고, 혹은 학습 속도의 문제등으로 약간의 성능을 포기할 수 있다.