Week_5 26기 분석 김서연

[gksmfly]

Week_5 26기 분석 김서연

1. ResNet만의 장점
   
: ResNet은 CNN 기반으로 동일한 필터를 이미지 전체에 반복적으로 적용할 수 있는 inductive bias를 가지고 있다. 이에 특정 패턴을 효율적으로 학습할 수 있어 데이터 셋이 적은 경우에도 비교적 잘 학습될 수 있다는 장점이 있다.
반면 ViT는 Transformer기반 모델이기에 Self-Attention을 통해 학습하며 inductive bias가 구조적으로 이루어지지 않는다. 따라서 ViT는 데이터 셋이 충분한 경우에 더 좋은 성능을 보이는 경향이 있다.


2. pretrained = False로 지정 시 결과


: pretrained = True인 경우 accuracy가 0.9, F1-score가 0.9로 나온 반면에 pretrained = False인 경우 accuracy가 0.5, F1-score가 0.49까지 성능이 떨어졌다. 이는 사전 학습된 모델이 대규모 데이터 셋으로 사전 학습이 되었기 때문에 더 좋은 성능이 나올 수 밖에 없는 것 같다.

[choiyoonhyeok]

내용 잘 적어주셨습니다! 데이터 효율을 고려할 때는 ResNet이 더 좋기도 하죠. 하지만 학습데이터량이 충분히 많다면 ViT를 결코 이길 수 없을 것입니다.
그리고 대용량 데이터를 학습한 pretrained 가중치를 갖고 와야 좋은 성능이 나오겠죠!

수고했어 서연~~