From 80824ea33ec26b3e444e721fc4fc345f7d48a989 Mon Sep 17 00:00:00 2001 From: Dabinishere <111479186+Dabinishere@users.noreply.github.com> Date: Sun, 25 Aug 2024 19:09:06 +0900 Subject: [PATCH] =?UTF-8?q?intermediate=5Fsource/dynamic=5Fquantization=5F?= =?UTF-8?q?bert=5Ftutorial.rst=20=EC=98=A4=ED=83=80=20=EC=88=98=EC=A0=95?= =?UTF-8?q?=20(#854)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../dynamic_quantization_bert_tutorial.rst | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/intermediate_source/dynamic_quantization_bert_tutorial.rst b/intermediate_source/dynamic_quantization_bert_tutorial.rst index f53fd8b93..4592ca5ca 100644 --- a/intermediate_source/dynamic_quantization_bert_tutorial.rst +++ b/intermediate_source/dynamic_quantization_bert_tutorial.rst @@ -16,19 +16,19 @@ ----------------------- 이 튜토리얼에서는 `HuggingFace Transformers -`_ 예제들을 따라하면서 BERT -모델을 동적으로 양자화할 것입니다. BERT 처럼 유명하면서도 최고 성능을 +`_ 예제들을 따라 하면서 BERT +모델을 동적으로 양자화할 것입니다. BERT처럼 유명하면서도 최고 성능을 내는 모델을 어떻게 동적으로 양자화된 모델로 변환하는지 한 단계씩 설명하겠습니다. -- BERT 또는 Transformer 의 양방향 임베딩 표현(representation) 이라 불리는 방법은 +- BERT 또는 Transformer의 양방향 임베딩 표현(representation)이라 불리는 방법은 질의응답, 문장 분류 등의 여러 자연어 처리 분야(문제)에서 최고 성능을 달성한 새로운 언어 표현 사전학습 방법입니다. 원 논문은 `여기 `_ 에서 읽을 수 있습니다. - PyTorch에서 지원하는 동적 양자화 기능은 부동소수점 모델의 가중치를 정적인 int8 또는 float16 타입의 양자화된 모델로 변환하고, 활성 함수 부분은 - 동적으로 양자화합니다. 가중치가 int8 타입으로 양자화 됐을 때, 활성 함수 부분은 - 배치마다 int8 타입으로 동적으로 양자화 됩니다. PyTorch에는 지정된 모듈을 + 동적으로 양자화합니다. 가중치가 int8 타입으로 양자화됐을 때, 활성 함수 부분은 + 배치마다 int8 타입으로 동적으로 양자화됩니다. PyTorch에는 지정된 모듈을 동적이면서 가중치만 갖도록 양자화된 형태로 변환하고, 양자화된 모델을 만들어내는 `torch.quantization.quantize_dynamic API `_ 가 있습니다.