week_5 26기 분석 성유민

[sung00819]

1. Resnet은 CNN based기때문에 적은 데이터셋에서도 안정적으로 학습이 잘 됩니다. 그렇기 때문에 학습데이터가 매우 적거나 사전학습된 모델을 사용하기 어려울때 유리할 것 같습니다.
2. pretrain되지 않은 ViT모델을 불러와서 크기가 작은 데이터셋으로 처음부터 학습시키게 되면 과적합되어 일반화성능이 낮을 것으로 생각합니다. 초대형 데이터셋을 통한 사전학습을 전제로 설계된 모델이기 때문입니다! 실제 10에폭으로 비교하여 학습해보니 pretrained ViT에서는 final Train Loss:0.1185, Train Accuracy:95.74%, Val Loss:0.2892, Val Accuracy:92.48%였으나 False로 설정한 Vit는 final Train Loss: 1.0387, Train Accuracy: 62.47%, Val Loss: 1.0956, Val Accuracy: 59.96%였습니다. validation값뿐만 아니라 training조차 잘 못하는 것을 확인할 수 있었습니다.

[choiyoonhyeok]

잘 적어주셨습니다!! CNN based model은 inductive bias로 인해 데이터 효율이 높아 말씀해주신 상황에서 ViT보다 유리합니다.
그렇기에 overfitting 되기 쉬어 일반화 성능도 좋지 못합니다!

수고했어 유민 👍👍