Week_5 26기 분석 문유하

[yuha933]

<과제 1>
장점 1. 데이터 효율성

• ViT가 self-attention 기반 구조로 인해 대규모 데이터에서 강점을 보이지만, 중소규모 데이터셋에서는 ResNet이 더 안정적이고 일반화 성능이 좋다. 이는 ResNet과 같은 CNN 기반 모델이 강한 inductive bias를 갖기 때문이다.
  장점 2. 계산 효율성
• ViT의 self-attention은 입력 토큰 수에 대해 O(N²) 복잡도를 가진다. 반면, ResNet의 convolution은 국소적 연산 기반(O(N))으로 계산량이 상대적으로 안정적이다.

<과제 2>
pretrained=True는 대규모 데이터로 사전 학습된 가중치를 사용한다는 말이다. 만약 pretrained=False로 설정하면, 학습 초기 정확도가 매우 낮고, 수렴 속도가 느리며 최종 성능이 저하될 가능성이 높다. 이는 1번에서도 말했다시피 ViT는 구조적으로 CNN 기반 모델들보다 inductive bias가 약하기 때문에 충분한 데이터가 없으면 의미 있는 feature를 처음부터 학습하기 어렵다는 점에서 비롯되는 것이다.

[choiyoonhyeok]

잘 적어주셨습니다! 데이터 효율성으로 10년이 지난 현재까지도 ResNet이 ViT 대신 사용되기도 하죠.
2번은 매우 잘 적어주셔서 더 할 말도 없네요!!

수고하셨습니다 유하님~~ 👍👍