모델 정량화란 무엇인가: FP32, FP16, INT8, INT4 데이터 유형 설명

가이드(예: 책 또는 기타 인쇄물)

AI 기술의 광활한 별빛 속에서 딥러닝 모델은 뛰어난 성능으로 여러 분야에서 혁신과 발전을 주도하고 있습니다. 그러나 모델 규모의 지속적인 확장은 양날의 검과 같아서, 성능을 향상시키는 동시에 연산 수요와 스토리지 부담을 급격히 증가시킵니다. 특히 리소스가 제한된 애플리케이션 시나리오에서 모델의 배포와 운영은 심각한 도전에 직면하게 됩니다.

이러한 딜레마에 직면하여 섬세한 메스와 같은 "양자화"라는 기술이 등장하여 모델 크기를 영리하게 줄이고 컴퓨팅 속도를 향상시키며 모델 정확도의 허용 범위 내에서 에너지 소비를 크게 줄였습니다. 양자화 기법은 모델의 고정밀 FP32 데이터를 저정밀 INT4 데이터로 변환하여 모델의 '슬림화'와 '속도 향상'을 실현할 수 있습니다. 이 기사에서는 초보자도 쉽게 이해할 수 있도록 양자화의 원리와 방법, 딥러닝 분야에서의 적용 사례를 분석해 보겠습니다.

1. 숫자 표현의 기초

1.1 이진수를 십진수로 변환하기

디지털 세상의 초석인 컴퓨터 과학에서 모든 데이터는 2진법으로 저장됩니다. 이진법은 0과 1이라는 두 개의 숫자로만 구성되는 반면, 우리가 일상에서 사용하는 십진법은 0에서 9까지 10개의 숫자로 구성됩니다. 서로 다른 언어 간의 번역처럼 이 두 시스템 간의 변환은 컴퓨터에서 데이터의 표현을 이해하는 데 핵심적인 역할을 합니다.

예를 들어 십진수 13은 1101로 이진 형식으로 변환됩니다. 변환 과정은 십진수 '전체'를 이진 '구성 요소'로 분해하는 것과 유사합니다. 단계는 다음과 같습니다:

13 2로 나누면 몫은 6이고 나머지는 1(가장 낮은 이진수)입니다.
6을 2로 나누면 몫은 3이 되고 나머지는 0이 됩니다.
3을 2로 나눈 값, 몫 1, 나머지 1
1을 2로 나누면 몫은 0, 나머지는 1(가장 높은 이진수)입니다.

잔여 항목은 아래에서 위로 나열됩니다:
↑1
↑0
↑1
↑1
이진 결과 가져오기: 1101

반대로 2진수 1101을 10진수로 다시 변환하는 것은 '부분'을 재조립하여 '전체'를 만드는 것과 같습니다. 오른쪽에서 왼쪽으로 갈수록 각 비트의 가중치는 2의 거듭제곱만큼 증가하며, 가장 오른쪽 비트의 가중치는 , 이며 왼쪽으로 갈수록 가중치는 , 입니다. 따라서 이진수 1101은 다음과 같이 10진수로 변환됩니다: 1× + 1× + 0× + 1× = 8 + 4 + 0 + 1 = 13.

1.2 부동 소수점과 정수의 차이점

(i) 정수형(INT)

INT는 정수의 유형을 나타내는 Integer의 약자입니다. 이름에서 알 수 있듯이 정수는 1, 2, 3 등과 같이 소수 부분이 포함되지 않은 숫자입니다.

INT4는 4비트 이진수가 정수를 표현하는 데 사용되는 반면, INT8은 8비트 이진수가 정수를 표현하는 데 사용됨을 의미합니다. 비트 수에 따라 정수 표현 범위가 결정됩니다.

4비트 이진수는 최대 하나의 다른 숫자를 나타낼 수 있기 때문에 INT4로 표현할 수 있는 정수의 범위는 제한되어 있습니다. 부호가 있는 INT4의 경우 일반적으로 -8에서 7까지, 부호가 없는 INT4의 경우 0에서 15까지입니다. 8비트 이진수는 = 256개의 다른 숫자를 나타낼 수 있으므로 부호가 없는 INT8은 -128에서 127까지, 부호가 있는 INT8은 0에서 255까지 범위가 됩니다.

(ii) 부동 소수점 유형(FP)

FP는 부동 소수점 유형인 부동 소수점의 약자입니다. 부동 소수점 숫자는 정수와 달리 분수 부분이 있는 숫자를 표현하는 데 사용됩니다.

부동 소수점 숫자는 부호 비트, 지수 비트, 맨티사 비트로 구성됩니다. 예를 들어 32비트 부동 소수점 숫자(FP32)는 부호 비트 1개, 지수 비트 8개, 맨티사 비트 23개로 구성됩니다. 이러한 영리한 설계 덕분에 부동소수점 숫자는 마치 줄자처럼 아주 작은 숫자부터 아주 큰 숫자까지 매우 광범위한 값을 나타낼 수 있습니다.

예를 들어 FP32는 매우 작은 숫자(대략)와 매우 큰 숫자(대략)를 나타낼 수 있습니다. INT8(8비트 정수)은 -128에서 127 사이의 정수만 나타낼 수 있습니다. 이러한 차이는 고정 길이 자(정수)와 확장 가능한 줄자(부동 소수점 숫자)로 길이를 측정하는 것과 유사하며, 유연성과 숫자 표현 범위 측면에서 부동 소수점 숫자가 정수보다 훨씬 우수합니다.

(iii) 일반적으로 사용되는 데이터 유형

딥 러닝 및 범용 컴퓨팅의 일반적인 데이터 유형은 다음과 같습니다:

• Float32(FP32)높은 정확도와 광범위한 값으로 잘 알려진 표준 32비트 부동 소수점 형식이며, 다양한 하드웨어에서 폭넓게 지원되는 범용성 때문에 모델 학습 및 추론에 FP32 연산이 주로 사용됩니다.
• 플로트16(FP16)FP16은 16비트 반정밀도 부동 소수점 숫자로, FP32에 비해 정밀도는 떨어지지만 메모리 사용량이 크게 줄어들고 계산 속도가 훨씬 빠르며, 숫자 표현 범위가 상대적으로 좁아 오버플로 및 언더플로우의 위험이 있을 수 있습니다. 그러나 다음과 같은 딥 러닝 사례에서는손실 스케일링 이러한 기술을 적용하면 이러한 문제를 효과적으로 완화할 수 있습니다.
• BFloat16(BF16)BF16은 또 다른 16비트 부동 소수점 형식입니다. BF16은 FP32와 동일한 8비트 지수 비트를 유지하므로 FP32와 동적 범위가 동일하지만, 후행 비트가 7비트에 불과하여 FP16보다 정확도가 떨어진다는 점이 특징입니다. 그러나 BF16은 후행 비트가 7비트에 불과하여 FP16보다 정확도가 떨어집니다. BF16은 광범위한 값을 가진 시나리오에서 잘 작동하지만 정밀도에 민감한 작업에서는 트레이드오프가 있을 수 있습니다.
• Int8INT8은 수치 표현 범위가 제한적이지만 메모리 사용량이 매우 적은 8비트 정수 유형입니다. INT8은 주로 모델 양자화 기법에 사용되며, 고정밀 FP32 또는 FP16에서 INT8로 모델 파라미터를 변환하면 모델의 저장 공간 요구 사항과 계산 복잡성을 크게 줄여 리소스가 제한된 장치에서 모델을 효율적으로 배포할 수 있는 기반을 마련합니다.

2. 정량적 개념

2.1 정량적 정의

정량화란 모델의 데이터를 고정밀 표현에서 저정밀 표현으로 변환하는 것을 말합니다.이미지 품질과 파일 크기 간의 트레이드 오프딥러닝에서 양자화는 고정밀 이미지를 저정밀 JPEG 이미지로 압축하는 과정으로, 이미지의 주요 정보는 그대로 유지하면서 파일 크기를 크게 줄일 수 있습니다. 딥러닝 분야에서 양자화는 일반적으로 모델 가중치와 활성화 값을 FP32(32비트 부동 소수점)에서 FP16(16비트 부동 소수점) 또는 INT8(8비트 정수) 이하의 정밀도로 낮추는 것을 의미합니다.

FP32는 32비트 이진수(부호 1비트, 지수 8비트, 맨티사 23비트)로 값을 정확하게 표현하는 고정밀 부동 소수점 형식입니다. FP32는 작은 값부터 큰 값까지 측정할 수 있는 정밀한 스케일이지만 고정밀이라는 특성 때문에 스토리지 오버헤드가 높고 계산 속도가 상대적으로 느립니다.

FP16은 값을 표현하는 데 16비트(부호 1비트, 지수 5비트, 맨티사 10비트)만 필요한 반정밀도 부동소수점 형식입니다. FP32에 비해 FP16은 저장 공간을 절반으로 줄이고 계산 효율을 개선하기 위해 정밀도를 희생하며, 정밀도와 효율성 사이에서 적절한 균형을 이루는 약간 더 두꺼운 눈금입니다.

INT8은 -128~127 범위의 정수만 표현할 수 있는 8비트 정수 타입으로, 메모리 사용량이 매우 적고 계산 속도가 매우 빠르다는 장점이 있지만 수치 정밀도가 가장 낮습니다. INT8은 정수만 세는 단순 카운터와 비슷하지만 빠르고 편리하다는 장점이 있습니다.

2.2 정량적 목적

정량화의 핵심 목적은 다음과 같습니다.스토리지 요구 사항 및 모델의 계산 복잡성 감소동시에 정밀도 손실을 허용 가능한 한도 내에서 유지하려고 노력합니다. 구체적으로 정량화는 다음과 같은 목표를 달성하는 것을 목표로 합니다:

스토리지 요구 사항 감소최신 딥러닝 모델, 특히 매개변수 크기가 큰 대규모 모델의 경우 매개변수가 수억 개 또는 수천억 개에 달하는 경우가 많아 저장 공간에 큰 부담을 줍니다. FP32 모델을 예로 들면, 각 파라미터는 4바이트의 저장 공간을 차지합니다. 모델을 FP16으로 양자화하면 각 파라미터는 2바이트만 필요하므로 스토리지 요구량이 절반으로 줄어듭니다. 모델을 INT8로 더 양자화하면 각 파라미터는 1바이트만 필요하며 저장 공간은 75%까지 줄일 수 있습니다.

컴퓨팅 효율성 향상양자화된 모델은 추론 단계에서 계산 집약도가 현저히 낮아 추론 속도가 향상됩니다. 예를 들어, FP32 모델이 GPU에서 실행되는 경우 메모리 대역폭에 의해 계산 속도가 제한될 수 있습니다. 반면, FP16 또는 INT8 모델은 저정밀 연산에 최적화된 하드웨어 가속 덕분에 연산 속도를 크게 높일 수 있습니다. 양자화로 인한 성능 향상은 엣지 디바이스나 모바일 디바이스와 같이 컴퓨팅 리소스가 제한된 시나리오에서 특히 두드러집니다.

전력 소비 감소모델 컴퓨팅 리소스 요구 사항의 감소는 에너지 소비량 감소로 직결됩니다. 모바일 디바이스와 임베디드 시스템의 경우 전력 소비는 중요한 고려 사항입니다. 정량화 기법은 모델 전력 소비를 효과적으로 줄이고, 디바이스 수명을 연장하며, 열 방출 요구 사항을 줄일 수 있습니다.

대역폭 요구 사항 감소:: 분산 컴퓨팅 시스템에서 모델 크기가 줄어든다는 것은 데이터 전송 대역폭이 줄어든다는 의미이기도 합니다. 멀티 서버 시나리오에서는 정량적 모델을 더 빠른 속도로 분산하고 동기화할 수 있으므로 전반적인 데이터 전송 효율성이 향상됩니다.

3. INT4, INT8 정량화

3.1 INT4 및 INT8 표현 범위

INT4와 INT8은 모두 컴퓨터 시스템에서 데이터를 이진 형식으로 저장하는 정수형 양자화 방식이지만 수치 표현의 범위와 정밀도에서 차이가 있습니다.

• INT8INT8은 -128~127 범위의 8비트 정수 유형으로, 각 비트가 0 또는 1이 될 수 있고 서로 다른 0/1 조합으로 다른 정수 값을 나타낼 수 있는 8비트 카운터에 비유할 수 있습니다. 예를 들어표기 INT8은 -128에서 127 사이의 중간값을 의미하며, 11111111 은 10진수에서 -1을 의미합니다. 다음과 같은 경우부호 없음(즉, 더하기 또는 빼기 부호에 관계없이 절대값) 0~255 범위의 INT8(11111111)은 10진수로 255를 나타내며, 일반적으로 0~255 범위인 이미지 처리의 픽셀 값과 같은 많은 애플리케이션 시나리오의 요구 사항을 충족하기에 충분하며 INT8로 효과적으로 표현할 수 있습니다.
• INT4INT8보다 표현 범위가 -8~7로 작은 4비트 정수 유형으로, INT4는 더 작은 메모리 공간과 빠른 계산을 위해 숫자 범위를 희생합니다. INT4는 숫자 범위는 제한되지만 "풋프린트"가 더 작은 작은 카운터와 같아서 리소스 효율이 더 높습니다. 리소스 효율성이 더 높습니다. 일부 경량 신경망 레이어와 같이 정밀도 요구 사항이 상대적으로 느슨한 일부 애플리케이션 시나리오에서는 INT4 양자화를 사용하면 스토리지 및 계산 비용을 크게 줄일 수 있습니다.예를 들어, 모바일에 경량 이미지 분류 모델을 배포할 때 모델 파라미터와 중간 계산 결과를 INT4 형식으로 저장하고 계산하여 메모리 사용량을 줄이고 추론 속도를 높일 수 있습니다.

3.2 정량적 공식 및 예시

양자화 과정은 기본적으로 고정밀 부동소수점 숫자 맵을 저정밀 정수로 변환하는 과정입니다. FP32를 INT8로 양자화하는 것을 예로 들면, 양자화 공식은 다음과 같습니다:

는 원래 부동 소수점 숫자입니다.

는 양자화된 정수입니다.

는 부동 소수점 숫자를 정수 범위로 매핑하는 데 사용되는 배율 계수입니다.

가장 가까운 정수로 반올림을 나타냅니다.

결과가 INT8 범위(예: [-128, 127])로 제한됨을 나타냅니다.

스케일링 계수 계산하기

배율은 일반적으로 부동 소수점 숫자의 절대값의 최대값으로 계산됩니다. 부동 소수점 숫자 집합이 있다고 가정하면 절차는 다음과 같습니다:

1. 부동 소수점 숫자 그룹의 최대 절대값을 구합니다:
2. 스케일링 계수 계산: .

실제로 스케일링 계수를 계산하는 방법에는 최대 양자화, 평균-표준 양자화 등 여러 가지가 있습니다. 최대 정량화는 텐서의 최대 절대값을 사용하여 스케일링 계수를 계산하는데, 구현이 간단하지만 이상값에 민감할 수 있습니다. 평균-표준편차 정량화는 데이터의 평균 및 표준편차 정보를 사용하여 보다 강력한 방식으로 배율을 결정하지만 계산 복잡도가 약간 더 높습니다. 적절한 환산 계수 계산 방법을 선택하려면 정확도와 계산 오버헤드 간의 절충이 필요합니다.

일반적인 예

부동 소수점 숫자 [-0.5, 0.3, 1.2, -2.1]의 집합이 있다고 가정하면 다음은 양자화 프로세스의 단계별 데모입니다:

1. 최대 절대값을 계산합니다:

2. 스케일링 계수 계산:

3. 각 부동 소수점 숫자를 정량화합니다:

• -0.5의 경우.
• 0.3의 경우.
• 1.2.
• -2.1의 경우.

최종적으로 양자화된 INT8 표현은 [-1, 1, 4, -7]입니다.

위의 단계를 통해 양자화 기법이 부동 소수점 숫자를 정수로 변환하는 방법을 명확하게 알 수 있습니다. 양자화 과정에서 필연적으로 일정한 정밀도 손실이 발생하지만, 스케일링 계수를 현명하게 선택하면 모델의 성능 수준을 최대한 유지하면서 저장 및 계산 비용을 크게 줄일 수 있습니다. 양자화 오류를 더욱 줄이기 위해 영점 양자화를 도입할 수도 있습니다. 영점 양자화는 양자화 공식에 영점 오프셋을 추가하여 부동 소수점 0을 정수 0에 정확하게 매핑할 수 있으므로 특히 활성화 값에 0이 많은 경우 양자화 정확도를 향상시킬 수 있습니다.

4. FP8, FP16, FP32 정량화

4.1 FP8, FP16, FP32 표현 방식

FP8, FP16 및 FP32는 부동 소수점 숫자로, 컴퓨터에 이진 형식으로 저장되지만 비트 폭이 다르기 때문에 범위와 정밀도가 다릅니다.

FP32

표준 32비트 부동 소수점 형식인 FP32는 다음 세 부분으로 구성됩니다:

• 부호 비트(1비트)0은 양수, 1은 음수를 나타내며 양수 및 음수 값을 식별하는 데 사용됩니다.
• 지수 숫자(8자리)는 값의 크기 범위를 정의하는 데 사용되며, FP32는 매우 작은 값부터 매우 큰 값까지 표현할 수 있습니다.
• 마지막 숫자(23비트): 값의 정밀도를 결정하는 데 사용되며, 뒷자리가 많을수록 정밀도가 높아집니다.

의 넓은 범위의 값과 소수점 이하 6자리까지 정확도를 제공하는 FP32는 먼지 한 톨만큼 작은 비늘부터 산처럼 넓은 거리까지 측정할 수 있는 고정밀 줄자 같은 제품입니다. FP32는 과학 컴퓨팅, 재무 모델링 및 고도의 정확성이 요구되는 기타 분야에서 필수적인 데이터 유형입니다.

FP16

FP16은 반정밀도 부동소수점 포맷으로 FP32의 절반 크기인 16비트 메모리만 차지하며, FP16의 구조는 다음과 같습니다:

• 부호 비트(1비트): 양수 및 음수 값을 식별합니다.
• 지수 숫자(5자리): 값 크기 범위를 정의합니다.
• 마지막 숫자(10자리)수치 정확도를 결정합니다.

FP16의 범위는 약에서 ~까지이며 정밀도는 FP32에 비해 소수점 이하 3자리로 감소합니다. FP16은 눈금이 약간 두꺼운 직선자와 같아서 정밀도는 낮지만 저장 공간과 계산 효율성에서 더 많은 이점이 있습니다. FP16은 일반적으로 높은 연산 속도와 메모리 대역폭이 필요한 딥러닝 모델 훈련 및 추론에 사용됩니다. 특히 GPU 가속 시나리오에서 FP16은 텐서 코어와 같은 하드웨어 가속 장치를 최대한 활용하여 상당한 성능 향상을 달성할 수 있습니다.

FP8

FP8은 효율적인 계산을 목표로 딥러닝 분야에서 주로 사용되는 새로운 저정밀도 부동 소수점 숫자 형식으로, FP8의 일반적인 구조는 다음과 같습니다:

• 부호 비트(1비트): 양수 및 음수 값을 식별합니다.
• 지수 숫자(3자리 또는 4자리): 값 크기 범위를 정의합니다(두 가지 FP8 변형이 존재합니다).
• 마지막 숫자(4자리 또는 3자리)숫자 정밀도(인덱스 자릿수에 해당)를 결정합니다.

FP8의 수치 표현 범위와 정확도는 더 줄어들었지만, 메모리 사용 공간이 더 작고 계산 속도가 더 빠르다는 장점이 있습니다. FP32가 정밀 줄자이고 FP16이 눈금이 약간 더 두꺼운 직선자라면 FP8은 더 정밀한 줄자라고 할 수 있습니다. 센티미터 눈금이 있는 간단한 자 같은 것입니다.또한 범위와 정확도는 더욱 감소하지만 주어진 상황에서 측정 작업을 신속하게 수행할 수 있습니다. 극도로 낮은 정밀도의 데이터 유형인 FP8은 실시간 추론, 엣지 컴퓨팅 등과 같이 지연 시간과 처리량이 극도로 높은 시나리오에서 큰 잠재력을 보여줍니다. 그러나 FP8은 하드웨어와 알고리즘에 더 많은 요구 사항을 부과하기도 합니다. 그러나 FP8을 적용하면 하드웨어와 알고리즘에 대한 요구 사항도 높아져 정확성을 보장하기 위한 특별한 하드웨어 지원과 정량화 전략이 필요합니다.

4.2 정량화 프로세스 및 공식

양자화는 고정밀 부동 소수점 숫자를 저정밀 부동 소수점 숫자 또는 정수로 변환하는 프로세스입니다. FP32를 FP16으로 양자화하는 것을 예로 들면 양자화 공식은 다음과 같습니다:

는 원래 부동 소수점 숫자입니다.

는 양자화된 저정밀도 부동 소수점 숫자입니다.

는 부동 소수점 숫자를 낮은 정밀도 범위로 매핑하는 데 사용되는 배율 계수입니다.

가장 가까운 값으로 반올림을 나타냅니다.

스케일링 계수 계산하기

배율은 일반적으로 부동 소수점 숫자의 절대값의 최대값으로 계산됩니다. 부동 소수점 숫자 집합이 있다고 가정하면 절차는 다음과 같습니다:

1. 부동 소수점 숫자 그룹의 최대 절대값을 구합니다:
2. 배율 계산: 에서 대상 저정밀 형식의 최대값은 다음과 같습니다.절대값으로 표현 가능. FP16의 경우 이 값은 대략 65504.

INT8 정량화와 마찬가지로 FP16 정량화의 스케일링 계수는 다양한 방법으로 계산할 수 있으며, 다양한 정확도 및 성능 요구 사항에 따라 선택할 수 있습니다. 또한 FP16 정량화는 종종 혼합 정밀 훈련(MPT)과 함께 사용됩니다. 모델 훈련 과정에서 FP16은 일부 계산 집약적인 연산(예: 행렬 곱셈, 컨볼루션)에 사용되고, FP32는 높은 정확도가 필요한 연산(예: 손실 계산, 기울기 업데이트)에 사용되어 훈련 과정의 속도를 높이고 메모리 사용량을 줄이면서 모델의 정확성을 보장합니다.

일반적인 예

다음은 FP32 부동 소수점 숫자 [-0.5, 0.3, 1.2, -2.1] 집합이 있다고 가정하고, FP32를 FP16으로 정량화하는 단계별 데모입니다:

1. 최대 절대값을 계산합니다:

2. 스케일링 계수 계산:

3. 각 부동 소수점 숫자를 정량화합니다:

• -0.5의 경우.
• 0.3의 경우.
• 1.2.
• -2.1의 경우.

최종 정량화된 FP16은 [-0.5, 0.3, 1.2, -2.1]로 표현됩니다.

위의 단계를 통해 양자화 기법이 고정밀 부동 소수점 숫자를 저정밀 부동 소수점 숫자로 변환하는 방법을 관찰할 수 있습니다. 양자화는 확실히 약간의 정밀도 손실을 가져오지만 스케일링 계수를 현명하게 선택하면 모델의 성능을 최대한 유지하면서 저장 및 계산 비용을 줄일 수 있습니다. FP16 양자화의 정확도를 더욱 향상시키기 위해 동적 양자화를 사용할 수 있습니다. 동적 양자화는 추론 과정에서 입력 데이터의 실제 범위에 따라 스케일링 계수를 동적으로 조정하여 데이터 분포의 변화에 더 잘 적응하고 양자화 오류를 줄입니다.

5. 정량적 적용 및 장점

5.1 딥러닝의 응용 분야

정량화 기법은 딥 러닝, 특히 모델 훈련과 추론 단계에서 그 가치가 점점 더 높아지고 있는 유망한 응용 분야가 매우 광범위합니다. 다음은 딥러닝에서 정량화 기법의 몇 가지 주요 응용 사례입니다:

모델 교육 가속화

모델 훈련 단계에서 FP16 또는 FP8과 같은 저정밀 데이터 유형으로 계산하면 훈련 프로세스를 크게 가속화할 수 있습니다. 예를 들어, NVIDIA Hopper 아키텍처 GPU는 FP8 정밀도의 Tensor 코어 연산을 지원합니다. FP8 트레이닝은 기존 FP32 트레이닝보다 2~3배 더 빠를 수 있습니다. 이러한 훈련 가속화는 매개변수 크기가 큰 모델에 특히 중요하며, 훈련 시간과 컴퓨팅 리소스 소비를 크게 줄여줍니다. 예를 들어 GPT-3와 같은 대규모 언어 모델을 학습할 때 FP16 또는 BF16 혼합 정밀도 학습을 사용하면 학습 시간을 크게 단축하고 많은 계산 리소스를 절약할 수 있습니다.

에 따르면 인플렉션 AI 예를 들어, Inflection-2는 총 부동 소수점 연산 플롭스(FLOPs)의 FP8 혼합 정밀도 훈련 전략을 사용하여 5,000개의 NVIDIA Hopper 아키텍처 GPU에서 훈련되었으며, 여러 표준 AI 성능 벤치마크에서 Inflection-2는 훈련 컴퓨팅 부문에서 Google의 플래그십 모델인 PaLM 2보다 우수한 성능을 보여주었습니다. 여러 표준 AI 성능 벤치마크에서 Inflection-2는 동일한 훈련 연산 부문에서 Google의 주력 모델인 PaLM 2에 비해 상당한 성능 우위를 보였습니다.

모델 추론 최적화

모델 추론 단계에서 양자화 기법은 모델의 저장 공간과 계산 복잡성을 크게 줄여 추론 효율을 향상시킬 수 있습니다. 예를 들어, FP32 모델을 INT8로 양자화하면 모델 저장 공간을 75%까지 줄이고 추론 속도를 몇 배로 높일 수 있습니다. 이는 컴퓨팅 리소스와 저장 공간이 제한적인 엣지 또는 모바일 디바이스에 딥 러닝 모델을 배포하는 데 매우 중요합니다. 예를 들어, 휴대폰에 이미지 인식 모델을 배포할 때 모델을 INT8로 정량화하면 모델 크기를 효과적으로 줄이고 메모리 소비를 줄이며 추론 속도를 가속화하고 사용자 경험을 개선할 수 있습니다.

예를 들어, Google은 NVIDIA 팀과 긴밀히 협력하여 TensorRT-LLM 최적화 기술을 Gemma 모델에 적용하고 이를 FP8 기술과 결합하여 추론 가속화를 달성했습니다. 실험 결과에 따르면 추론에 Hopper GPU를 사용할 때 FP8은 FP16에 비해 3배 이상의 처리량 향상을 달성했습니다.

모델 압축 및 배포

정량화 기법은 모델 압축 및 배포에도 사용할 수 있습니다. 고정밀 모델을 저정밀 모델로 정량화하면 모델 크기를 효과적으로 줄일 수 있으므로 리소스가 제한된 환경에서도 모델 배포가 용이해집니다. 예를 들어, 제로-원-에브리씽활용 NVIDIA의 하드웨어 및 소프트웨어 기술 스택이 결합된 대형 모델 FP8 트레이닝 및 검증을 완료했으며, 대형 모델 트레이닝 처리량이 BF16에 비해 1.3배 증가했습니다. INT8 및 FP16/FP8 양자화 외에도 INT4와 이진 신경망(BNN) 및 삼원 신경망(TNN)과 같은 더 낮은 비트 양자화 기법도 있습니다. 이러한 매우 낮은 비트 양자화 기법은 모델을 극도로 압축할 수 있지만 일반적으로 정확도 손실이 크며 모델 크기와 속도에 대한 요구 사항이 극도로 높은 시나리오에 적합합니다.

또한 특정 하드웨어 가속 기술을 통해 양자화 모델을 더욱 향상시킬 수 있습니다. 예를 들어, NVIDIA 트랜스포머 엔진은 PyTorch, JAX, 패들패들 등과 같은 주류 딥 러닝 프레임워크에 통합되어 정량적 모델의 추론을 위한 효율적인 하드웨어 수준의 지원을 제공합니다. NVIDIA GPU 외에도 ARM 아키텍처 CPU 및 모바일 NPU와 같은 다른 하드웨어 플랫폼도 정량적 계산에 최적화되고 가속화되어 정량적 모델의 광범위한 배포를 위한 하드웨어 기반을 제공합니다.

5.2 장점과 한계

최첨단

컴퓨팅 효율성 향상저정밀 양자화는 계산 속도를 크게 높이고 계산 리소스 소비를 줄일 수 있습니다. FP16과 FP8 모두 FP32보다 계산 처리량이 몇 배 더 높습니다. 이러한 속도 향상 효과는 대규모 모델 훈련과 추론에서 특히 두드러집니다.

스토리지 요구 사항 감소정량화 기술은 모델 스토리지 요구 사항을 크게 줄일 수 있습니다. 예를 들어 FP32 모델을 INT8로 정량화하면 저장 공간이 75% 줄어들어 저장 리소스가 제한된 환경에서 모델을 배포하는 데 중요합니다.

전력 소비 감소:: 저정밀 컴퓨팅은 더 적은 컴퓨팅 리소스를 필요로 하므로 디바이스 전력 소비가 줄어듭니다. 모바일 디바이스와 임베디드 시스템에서 전력 소비는 핵심적인 설계 고려 사항입니다. 정량화된 모델은 디바이스 배터리 수명을 연장하고 열 방출 요구 사항을 줄이는 데 도움이 됩니다.

모델 최적화양자화 기술은 훈련 및 추론 과정에서 모델 최적화 및 압축을 유도하여 배포 비용을 더욱 절감합니다. 예를 들어, FP8을 적용하면 훈련 단계에서 모델이 보다 정교한 양자화 전략을 탐색할 수 있으므로 모델의 전반적인 효율성이 향상됩니다.

제한 사항

정밀도 손실:: 양자화 과정에는 필연적으로 정밀도 손실이 수반되며, 특히 매우 낮은 정밀도 형식(예: FP8)을 사용하는 경우 정밀도 손실이 클 수 있으며, 특정 작업에서 모델의 성능 저하로 이어질 수 있습니다. 정밀도 손실은 신중한 배율 선택 등을 통해 어느 정도 완화할 수 있지만, 정밀도 손실을 완전히 제거하기는 어려운 경우가 많습니다. 양자화로 인한 정확도 손실을 완화하기 위해 양자화 인식 훈련(QAT)을 사용할 수 있습니다. QAT는 모델 훈련 과정에서 양자화 작업을 시뮬레이션하고 훈련에서 양자화 오류를 고려하여 양자화에 더 강한 모델을 훈련합니다. QAT는 일반적으로 양자화 모델의 정확도를 크게 향상시킬 수 있지만 그에 따라 훈련 비용이 증가합니다.

하드웨어 지원모든 하드웨어 플랫폼이 저정밀 연산을 완벽하게 지원하는 것은 아닙니다. 예를 들어, FP8 및 FP16 계산에는 특정 하드웨어(예: NVIDIA Hopper 아키텍처 GPU)가 필요한 경우가 많습니다. 하드웨어 플랫폼이 저정밀 연산에 최적화되지 않은 경우, 양자화의 이점을 충분히 활용하지 못할 수 있습니다. 저정밀 컴퓨팅의 인기와 함께 점점 더 많은 하드웨어 플랫폼이 FP16, BF16, 심지어 양자화 기법의 광범위한 적용을 위한 보다 견고한 하드웨어 기반을 제공하는 FP8과 같은 저정밀 데이터 유형을 지원하기 시작했습니다.

복잡성 증가:: 정량화 프로세스 자체는 모델 개발에 복잡성을 더할 수 있습니다. 예를 들어, 정량화 프로세스에는 스케일링 계수를 세밀하게 계산해야 하며, 모델을 추가로 보정하고 미세 조정해야 할 수도 있습니다. 이는 확실히 모델 개발 및 배포의 어려움을 가중시킵니다. 양자화 배포의 복잡성을 줄이기 위해 개발자가 대상 하드웨어 플랫폼에 모델을 빠르고 쉽게 양자화하여 배포할 수 있도록 지원하는 NVIDIA TensorRT, 퀄컴 AI 엔진 등과 같은 많은 자동화된 양자화 툴과 플랫폼이 업계에 등장했습니다.

애플리케이션 시나리오:: 양자화 기법이 모든 애플리케이션 시나리오에 적합한 것은 아닙니다. 매우 높은 정밀도가 필요한 작업(예: 과학 컴퓨팅, 재무 모델링 등)에서는 정량화로 인해 허용할 수 없는 정밀도 손실이 발생할 수 있습니다. 정확도에 민감한 작업의 경우, 정확도와 효율성 간의 균형을 맞추기 위해 모델의 여러 레이어 또는 파라미터에 서로 다른 양자화 정확도를 적용하는 혼합 정밀 양자화 전략(예: 주요 레이어 또는 파라미터에 FP32 또는 FP16, 기타 레이어 또는 파라미터에 INT8 이하)을 시도해 볼 수 있습니다.

요약하자면, 양자화 기술은 딥러닝 분야의 핵심 기술로서 계산 효율성을 개선하고 스토리지 요구 사항과 전력 소비를 줄이는 데 큰 잠재력을 보여줍니다. 그러나 양자화 기법에는 정확도 손실과 하드웨어 종속성과 같은 한계도 있습니다. 따라서 실제 애플리케이션에서는 모델 성능과 효율성 간의 최적의 균형을 이루기 위해 특정 애플리케이션 요구 사항과 시나리오 특성에 따라 양자화 전략을 신중하게 선택해야 합니다. 앞으로 하드웨어와 알고리즘의 지속적인 발전으로 정량적 기술은 딥러닝 분야에서 더욱 중요한 역할을 할 것이며, 더 넓은 범위의 시나리오에 인공지능이 적용되어 뿌리를 내릴 수 있도록 촉진할 것입니다.