advanced_source/semi_structured_sparse.py 번역 #927
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Co-authored-by: dlcodns <[email protected]> Co-authored-by: kookyungseon <[email protected]>
hyoyoung
requested changes
Sep 25, 2024
| **Author**: `Jesse Cai <https://github.com/jcaip>`_ | ||
| (beta) 반구조적 (2:4) 희소성을 통한 BERT 가속화 | ||
| ============================================= | ||
| **저자**: `Jesse Cai <https://github.com/jcaip>`_ |
| # sparsity in general. For users with existing 2:4 sparse models, | ||
| # accelerating ``nn.Linear`` layers for inference with | ||
| # ``to_sparse_semi_structured`` is quite straightforward. Here is an example: | ||
| # 이 튜토리얼은 반구조적 희소성 및 일반적인 희소성에 대한 초보자를 위해 설계되었습니다. |
There was a problem hiding this comment.
design은 여기서는 굳이 설계되었다고 하지 않아도 될거 같습니다.
이 튜토리얼은 초보자에게 반구조적 희소성 및 일반적인 희소성을 맞춤 설명합니다.
이정도로 의역해보면 어떨까요?
| # operate on this elements. In order to realize performance gains, we need | ||
| # to swap out dense kernels for sparse kernels, which skip calculation | ||
| # involving pruned elements. | ||
| # 그 이유는 밀집 텐서(dense tensor)가 여전히 가지치기된(0인) 요소를 포함하고 있으며, |
There was a problem hiding this comment.
용어집에서 tensor는 일반적으로 번역하지 않습니다.
| # and drawbacks. The 2:4 semi-structured sparse layout is particularly | ||
| # interesting for two reasons: | ||
| # 희소 레이아웃에는 각기 다른 장점과 단점을 가진 여러 가지가 있습니다. 2:4 반구조적 | ||
| # 희소 레이아웃은 두 가지 이유로 특히 흥미롭습니다: |
There was a problem hiding this comment.
흥미로운 두 가지 이유가 있습니다.
정도로 하면 더 읽기 편할거 같습니다.
| # then retraining the model yields nearly identical model accuracies. | ||
| # * 동시에 반구조적 희소성은 다른 희소 형식에 비해 모델 정확도에 미치는 영향이 덜한 경향이 | ||
| # 있습니다. 특히 더 발전된 가지치기 및 미세 조정 방법을 고려할 때 그렇습니다. NVIDIA는 | ||
| # 그들의 `백서 <https://arxiv.org/abs/2104.08378>`_ |
There was a problem hiding this comment.
NVIDIA가 공개한 백서...
요정도로 바꿔보면 어떨까요?
| # | ||
| # - Accuracy - How can we find a set of 2:4 sparse weights that minimize | ||
| # the accuracy degradation of our model? | ||
| # - 정확도 - 2:4 희소 가중치 세트를 찾아 모델의 정확도 저하를 최소화할 수 있는 방법은 무엇인가? |
There was a problem hiding this comment.
전반적으로 경어체를 썼으므로 여기서도, 무엇인가요?로 바꾸는게 좋을거 같습니다.
| # | ||
|
|
||
| # load model | ||
| # 모델 로드 |
There was a problem hiding this comment.
모델 불러오기 나 읽어들이기로 해도 좋을 거 같습니다.
| # masking the weights of the model. This is done by the prepare step. | ||
| # Anytime we try to access the ``.weight`` we will get ``mask * weight`` | ||
| # instead. | ||
| # 모델을 가지치기하는 첫 번째 단계는 모델의 가중치를 마스킹하기 위한 파라미터화를 삽입하는 것입니다. |
|
최종 코멘트 후 2주가 지났습니다. 일정 기간 답변이 없는 경우 자동으로 닫고 있습니다. |
|
네, 수정하도록 하겠습니다. |
|
수정을 완료했습니다! 피드백에 감사드립니다. |
|
최종 merge하기전에 살펴보니, |
|
아 방금 코멘트는 다른 PR에 달릴거였네요. 이 PR은 merge할테니 방금 전 코멘트는 신경 안쓰셔도 됩니다. |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
라이선스 동의
변경해주시는 내용에 BSD 3항 라이선스가 적용됨을 동의해주셔야 합니다.
더 자세한 내용은 기여하기 문서를 참고해주세요.
동의하시면 아래
[ ]를[x]로 만들어주세요.관련 이슈 번호
이 Pull Request와 관련있는 이슈 번호를 적어주세요.
이슈 또는 PR 번호 앞에 #을 붙이시면 제목을 바로 확인하실 수 있습니다. (예. #999 )
PR 종류
이 PR에 해당되는 종류 앞의
[ ]을[x]로 변경해주세요.PR 설명
이 PR로 무엇이 달라지는지 대략적으로 알려주세요.
기존에 없던 문서 번역 https://tutorials.pytorch.kr/advanced/semi_structured_sparse.html