Week_5 26기 분석 김윤서

[muunseo]

1. ResNet이 ViT보다 갖는 장점

Vision Transformer는 최근 이미지 분류 분야에서 뛰어난 성능을 보이며 SOTA 모델로 자리 잡았음에도 ResNet은 여전히 널리 활용되고 있는 이유는 데이터 효율성, 구조적 안정성이라고 생각합니다.
ResNet은 CNN 기반 모델로 합성곱 연산을 통해 이미지의 공간적 구조와 인접 픽셀 간의 관계를 자연스럽게 학습할 수 있는 강한 귀납적 편향을 가지고 있습니다. ResNet의 구조적 특성 덕분에 보다 적은 데이터에서도 안정적으로 특징을 학습할 수 있습니다. 또한, 학습 초기 단계에서도 빠르게 수렴하는 경향이 있습니다.
반면에, ViT는 self-attention 기반 구조로 이미지의 지역적 특성을 자동으로 가정하지는 않기 때문에 충분한 데이터와 사전학습이 없으면 성능이 크게 저하될 수 있어서 소규모 데이터셋을 사용하거나 실제 산업 현장에서는 ResNet이 안정적이고 효율적이라고 판단될 수 있습니다.

2. pretrained=True vs False 결과 차이 분석

실습 결과 pretrained=True로 설정한 ViT는 10 epoch 학습 후 Train Accuracy 95.18%, Validation Accuracy 90.11%를 기록하였고 loss curve에서도 train과 validation loss가 안정적으로 감소하는 모습을 보였습니다. 또한 confusion matrix를 통해 대부분의 클래스에서 0.85~0.95 수준의 높은 분류 성능을 확인할 수 있었고 전체 macro average 또한 0.90으로 안정적인 일반화 성능을 보였습니다.

반면에 pretrained=False로 설정하여 실습한 결과, 무작위 초기화 상태에서 학습하였기 때문에 10 epoch 이후 Train Accuracy 약 68%, Validation Accuracy는 약 66% 수준에 머물렀습니다. Accuracy curve를 보면 수렴 속도가 느리고 전체적인 성능이 크게 향상되지 않았습니다. 이것은 모델이 충분하게 시각적 표현을 학습하지 못했다는 것을 알 수 있습니다. ViT는 구조적으로 초대형 Transformer 기반 모델로 CNN과 달리 이미지의 공간적 구조에 대한 강한 귀납적 편향이 없기 때문에 대규모 데이터 기반의 사전학습이 중요하여 pretrained=True로 설정해야합니다.
pretrained=True의 경우 이미 대규모 데이터에서 학습된 저수준 및 중간 수준의 시각적 특징을 활용할 수 있어 파인튜닝만으로도 빠르게 높은 성능에 도달할 수 있고 반면에 pretrained=False는 모든 파라미터를 처음부터 학습해야 하므로 제한된 데이터와 짧은 학습 epoch로는 충분한 성능을 확보하기 어렵다고 볼 수 있습니다.

3. BOAZ Base 세션은 이미 알고 있다고 생각하여 깊이 들여다보지 않았던 기초 개념들을 다시 한 번 정리하고 점검할 수 있는 좋은 시간이었습니다! 전반적인 난이도도 적절하여 부담 없이 복습할 수 있었습니다. 세션 준비해주신 분들 모두 정말 수고 많으셨다고 전해드리고싶습니다:)

[choiyoonhyeok]

정말 잘 적어주셨습니다!! ViT가 SOTA 성능을 보여준다한들, 데이터 효율이나 구조적 안정성으로 인해 ResNet이 아직까지도 많이 사용되는 것 같습니다.
그리고 inductive bias로 인해 ResNet에 비해 학습 효율이 좋지 않아 pretrained 가중치 없이는 좋은 성능을 보여주기 어렵죠!

수고하셨습니다 윤서님~~ 👍