Week_5 26기 분석 김채우

[hakuna78]

Ans1)

1. 데이터 효율성

• ViT는 inductive bias가 부족해 학습 시 많은 양의 데이터를 필요로 하지만, ResNet은 사전지식을 가지고 학습하기때문에 데이터셋이 작아도 상대적으로 학습이 잘 된다.

2. 학습 난이도

• ViT는 학습이 까다롭고 하이퍼파라미터에 민감한 반면, ResNet은 학습이 안정적이고 학습속도도 빠르다.

Ans2)
<마지막 epoch기준>
Pretrained = True
Train Loss: 0.0965, Train Accuracy: 96.68%
Val Loss: 0.3630, Val Accuracy: 89.20%

Pretrained = False
Train Loss: 0.6932, Train Accuracy: 75.42%
Val Loss: 0.8317, Val Accuracy: 70.75%

1. 성능비교
   ViT는 inductive bias가 부족하기에 사전 가중치의 사용여부에 따라 성능에 차이가 나타난다. Pretrained=True일때는 구글의 초대형 데이터셋을 활용해 충분히 학습한 상태이기에 약 90% 대의 성능을 유지하지만 Pretrained=False는 제한된 데이터셋만으로 학습을 하기에 파라미터를 최적화할 환경이 충분치 않아 loss도 높고 낮은 성능을 보인다.

2. 학습 곡선의 안정성
   아이러니하게 Pretrained=False일때 loss와 accuracy 곡선 둘다 더 안정적으로 나타났다. Pretrained=False일때 모델은 복잡한 패턴을 찾지 못하는 수준이기에 성능 변동 폭이 적지만 True일때 새로운 데이터에 맞게 파인튜닝하는 과정에서 급격한 변화가 발생한 것으로 보인다.

[choiyoonhyeok]

잘 적어주셨습니다! 데이터 효율성과 학습 난이도로 인해 10년 지난 ResNet이 아직도 사용되는 이유이기도 하죠.
2번 또한 실험 증명과 함께 잘 적어주셨습니다!!

수고했어 채우~~ 👍👍