week_5 26기 분석 김윤지

[yooncandooit]

1. ResNet이 ViT보다 갖는 장점
   데이터 효율성 측면에서 ResNet은 ViT에 비해 적은 양의 데이터로도 잘 학습됩니다. ResNet의 컨볼루션 연산은 소규모 데이터셋에서도 합리적인 성능을 냅니다. 실습에서도 CIFAR-10처럼 비교적 작은 데이터셋에서는 ResNet이 더 나은결과를 보여주었습니다.
   연산 효율성과 경량성 면에서도, ViT의 셀프 어텐션은 패치 수의 제곱에 비례하는 연산량을 요구하는 반면, ResNet의 컨볼루션은 커널 크기에만 비례하므로 고해상도 이미지와 같은 환경에서 훨씬 효율적입니다.

2. pretrained=False 일때의 성능 차이
   pretrained=False로 설정하면 같은 epoch 수(35 epoch) 기준으로 validation accuracy가 pretrained=True 대비 크게 낮게 나옵니다.
   pretrained=True의 경우, ImageNet 등 대규모 데이터로 엣지, 텍스처, 형태 등 범용적인 시각 표현을 이미 학습한 상태이므로 CIFAR-10 fine-tuning 시 빠르게 수렴하며 높은 성능을 보입니다. 반면 pretrained=False의 경우 CIFAR-10의 5만 장, 3~5 epoch이라는 제한된 환경에서 처음부터 학습해야 하므로 파라미터를 충분히 최적화하지 못해 loss도 높고 낮은 성능에 머물게 됩니다.

[choiyoonhyeok]

잘 적어주셨습니다! 정확히는 convolution 연산으로 생기는 강한 inductive bias에 의해 소규모 데이터에서는 ResNet이 강점을 보입니다. 연산 효율과 경량성도 잘 적어주셨습니다.
단순히 pretrained 가중치를 불러오지 않아서 성능이 잘 나오지 않는 것도 맞지만, inductive bias의 차이로 학습시 ResNet보다 성능이 안 나오는 것까지 확인할 수 있었습니다!

수고하셨습니다 윤지님!! 👍👍