Week_5 26기 분석 양어진

[ydjwls]

1. 연산 효율성이 높다. Vit는 Self-attention 때문에 토큰 수 제곱에 비례하는 연산량을 가진 반면, ResNet은 합성곱 연산을 기반으로 하여 입력 해상도에 대해 비교적 선형적으로 계산량이 증가한다. 그리고 대규모 사전학습이 없어도 준수한 성능을 보인다.
2. False로 설정했을 때 Accuracy가 0.68로 True로 설정했을 때보다 훨씬 낮게 나왔다. Vit 모델은 Inductive Bias가 약해 처음부터 스스로 학습해야 해서 데이터가 많이 필요해서 데이터 의존도가 높다. 그래서 True일 때는 이미 대규모 데이터로 학습된 상태라 높은 성능이 나오지만 False일 때는 아예 학습되지 않은 모델을 돌린 것이므로 성능이 약할 수 밖에 없다.

[choiyoonhyeok]

잘 적어주셨습니다!! 연산량과 데이터효율에서 ResNet이 가지는 강점이 있습니다!
2번 문항 답변은 완벽해서 덧붙일 말이 딱히 없습니다..👍

수고했어 어진 ~~