온디바이스 LLM을 위한 Sub-8비트 양자화 인식 학습(QAT) 완벽 가이드 - 기기픽

온디바이스 LLM을 위한 Sub-8비트 양자화 인식 학습(QAT) 완벽 가이드

최근 거대 언어 모델(LLM)은 인공지능 분야에 혁명적인 변화를 가져왔습니다. 그러나 이러한 모델들은 방대한 파라미터 수와 연산량으로 인해 주로 클라우드 환경에서 운영됩니다. 메모리, 연산 능력, 전력 소비량에 제약이 있는 스마트폰, 임베디드 장치, IoT 기기 등 온디바이스(On-Device) 환경에서 LLM을 구동하는 것은 여전히 큰 도전 과제입니다. 이 문제를 해결하기 위한 핵심 기술 중 하나가 바로 양자화(Quantization)입니다. 특히, 8비트 이하의 낮은 정밀도를 사용하는 Sub-8비트 양자화는 극도의 효율성을 추구하는 온디바이스 환경에서 필수적입니다. 본 가이드에서는 양자화 인식 학습(Quantization-Aware Training, QAT)의 원리를 깊이 있게 탐구하고, Sub-8비트 양자화 환경에서 QAT를 성공적으로 적용하기 위한 구체적인 전략과 구현 방법론을 제시합니다. 이 글을 통해 개발자들은 온디바이스 LLM 배포의 복잡성을 이해하고 실질적인 해결책을 모색하는 데 필요한 통찰력을 얻게 될 것입니다.

1. 양자화(Quantization)의 필요성: 왜 온디바이스 LLM인가?

LLM은 수십억 개의 파라미터를 가지며, 이는 수 GB에 달하는 메모리를 요구합니다. 추론 시에는 이 파라미터들과 입력 데이터 간의 엄청난 수의 부동 소수점 연산이 발생합니다. 온디바이스 환경은 다음과 같은 제약을 가집니다.

• 제한된 메모리: 기기 내 램(RAM)과 스토리지 용량이 제한적입니다.
• 제한된 연산 능력: 저전력 프로세서는 클라우드 GPU만큼의 연산 성능을 제공하지 못합니다.
• 전력 소비: 배터리로 작동하는 기기는 전력 효율이 매우 중요합니다.

이러한 제약으로 인해 LLM을 온디바이스에 직접 배포하는 것은 어렵습니다. 양자화는 모델의 가중치와 활성화 값을 일반적으로 32비트 또는 16비트 부동 소수점(FP32/FP16)에서 8비트(INT8), 4비트(INT4) 또는 심지어 2비트(INT2)와 같은 낮은 비트 정수 형식으로 변환하는 기술입니다. 이 변환은 다음과 같은 이점을 제공합니다.

• 메모리 사용량 감소: 예를 들어, FP32에서 INT8로 변환하면 모델 크기가 4배 줄어듭니다.
• 추론 속도 향상: 정수 연산은 부동 소수점 연산보다 빠르고 효율적입니다.
• 전력 소비 감소: 연산량과 메모리 접근량이 줄어들어 전력 효율이 높아집니다.

양자화 기법은 크게 학습 후 양자화(Post-Training Quantization, PTQ)와 양자화 인식 학습(Quantization-Aware Training, QAT)으로 나뉩니다. PTQ는 이미 학습된 모델을 양자화하는 반면, QAT는 학습 과정 자체에 양자화 효과를 반영합니다. Sub-8비트와 같이 정밀도 손실이 큰 환경에서는 PTQ만으로는 성능 저하가 심각할 수 있어, QAT가 필수적인 대안으로 부상합니다. QAT는 모델이 낮은 비트 정밀도의 '노이즈'에 적응하도록 학습하여, 양자화 후에도 높은 정확도를 유지할 수 있도록 만듭니다.

2. 양자화 인식 학습(QAT)의 원리: 모의 양자화와 역전파

QAT의 핵심 아이디어는 모델 학습 중에 부동 소수점 연산과 정수 연산 사이의 간극을 줄이는 것입니다. 이는 모의 양자화(Simulated Quantization)와 기울기 통과 추정기(Straight-Through Estimator, STE)를 통해 이루어집니다.

2.1. 모의 양자화(Simulated Quantization)

QAT 중에는 실제 양자화된 하드웨어에서 모델이 실행되는 것을 시뮬레이션합니다. 이는 모델의 가중치와 활성화 값이 부동 소수점으로 유지되지만, 각 연산 전에 양자화-역양자화(Quantize-Dequantize) 과정을 거치는 방식으로 구현됩니다. 즉, 값은 일시적으로 낮은 비트 정수로 변환되었다가 다시 부동 소수점으로 변환되어 다음 연산에 사용됩니다. 이 과정에서 양자화로 인한 오차가 학습 과정에 반영됩니다.

가장 일반적인 양자화 방식은 어파인 양자화(Affine Quantization)로, 이는 척도(Scale, S)와 영점(Zero-Point, Z)을 사용하여 부동 소수점 범위를 정수 범위로 매핑합니다.

수식으로 표현하면 다음과 같습니다:

text

Q = round(x / S + Z) (부동 소수점 x를 정수 Q로 양자화)
x_q = (Q - Z) * S (정수 Q를 역양자화하여 부동 소수점 x_q로 변환)

• x: 원본 부동 소수점 값
• S: 척도. 부동 소수점 값 1단위가 정수 값 몇 단위에 해당하는지를 나타냅니다. (max_val - min_val) / (max_int - min_int)와 같이 계산됩니다.
• Z: 영점. 부동 소수점 0이 매핑되는 정수 값입니다.
• round(): 가장 가까운 정수로 반올림하는 함수입니다.
• Q: 양자화된 정수 값.
• x_q: 역양자화된 부동 소수점 값. 이 값이 학습 중에 사용됩니다.

예시: -1.0에서 1.0 사이의 부동 소수점 값을 8비트 정수(-128~127)로 양자화한다고 가정해 봅시다. 이 경우 척도 S와 영점 Z는 이 범위와 정수 범위를 매핑하도록 결정됩니다. 모의 양자화는 학습 중에 각 레이어의 활성화 값과 가중치에 이 양자화-역양자화 과정을 적용하여, 모델이 '양자화된 세상'에 적응하도록 훈련시킵니다.

2.2. 기울기 통과 추정기(Straight-Through Estimator, STE)

모의 양자화 과정에서 round() 함수는 미분 불가능합니다. 이는 역전파(Backpropagation)를 통해 모델 파라미터를 업데이트해야 하는 신경망 학습의 특성상 큰 문제가 됩니다. STE는 이 문제를 해결하기 위한 기법입니다. STE는 순전파(Forward Pass) 시에는 round() 함수의 동작을 그대로 따르지만, 역전파 시에는 round() 함수의 기울기를 1로 간주합니다. 즉, round(x)의 미분이 x의 미분과 같다고 가정하는 것입니다.

text

function Quantize(x):
    Q = round(x / S + Z)
    x_q = (Q - Z) * S
    return x_q

function Backward_Quantize(grad_output):
    # For backward pass, treat round() as an identity function
    # so its derivative is 1. The derivative of S, Z are also considered.
    return grad_output # simplified representation of the gradient flow

STE 덕분에 양자화로 인한 불연속성을 우회하여, 양자화된 모델도 표준적인 경사 하강법 기반의 최적화를 수행할 수 있습니다. 이는 QAT가 성공적으로 작동하는 핵심적인 이유입니다.

3. Sub-8비트 QAT의 도전 과제와 해결 전략

8비트 양자화는 많은 경우 비교적 성공적이지만, 4비트, 3비트, 2비트와 같은 Sub-8비트 양자화로 내려갈수록 정보 손실이 극심해지며 모델 정확도가 급격히 저하되는 경향을 보입니다. 이를 극복하기 위한 여러 고급 전략이 필요합니다.

3.1. 정밀도 손실 극복

3.1.1. 학습 가능한 척도 및 영점 (Learned Scale and Zero-Point)

PTQ에서는 보통 Min-Max 캘리브레이션을 통해 활성화 값의 최소-최대 범위를 측정하여 척도 S와 영점 Z를 결정합니다. 그러나 Sub-8비트에서는 고정된 범위가 최적이 아닐 수 있습니다. QAT에서는 척도 S와 영점 Z를 모델 파라미터처럼 학습 가능한 변수로 설정하여, 역전파를 통해 최적의 양자화 파라미터를 찾는 방식으로 정밀도 손실을 최소화할 수 있습니다.

3.1.2. 채널별 양자화(Per-channel Quantization)

일반적으로 양자화는 텐서 전체에 걸쳐 하나의 척도와 영점을 적용하는 텐서별 양자화(Per-tensor Quantization) 방식을 사용합니다. 그러나 특정 레이어의 가중치 텐서 내에서도 채널별로 값의 분포가 크게 다를 수 있습니다. 채널별 양자화는 각 출력 채널 또는 입력 채널별로 별도의 척도와 영점을 적용합니다. 이는 각 채널의 값 분포에 더욱 세밀하게 적응하여 양자화 오류를 줄이고 모델의 표현력을 높일 수 있습니다. Sub-8비트 환경에서 채널별 양자화는 특히 가중치의 표현력 유지를 위해 중요합니다.

3.1.3. 혼합 정밀도 양자화(Mixed-Precision Quantization)

모든 레이어를 동일한 낮은 비트 수로 양자화하는 것이 항상 최적은 아닙니다. 일부 레이어는 낮은 비트 양자화에 매우 민감하여 정확도에 큰 영향을 미칠 수 있습니다. 혼합 정밀도 양자화는 모델의 각 레이어 또는 심지어 각 가중치/활성화 그룹에 대해 서로 다른 비트 수를 할당하는 전략입니다. 예를 들어, 특정 임베딩 레이어나 출력 레이어는 8비트를 유지하고, 다른 연산이 많은 레이어는 4비트 또는 2비트로 양자화하는 식입니다. 어떤 레이어를 어떤 비트 수로 양자화할지는 보통 민감도 분석(Sensitivity Analysis)을 통해 결정됩니다. 즉, 각 레이어를 양자화했을 때 모델 정확도가 얼마나 떨어지는지 측정하여 가장 민감한 레이어는 더 높은 정밀도를 유지합니다.

3.2. 학습 기법 최적화

3.2.1. 가중치 균등화(Weight Equalization)

신경망의 가중치는 레이어마다, 그리고 레이어 내에서도 채널마다 값의 범위가 크게 다를 수 있습니다. 이는 낮은 비트 양자화 시 비효율적인 양자화 범위 설정을 야기할 수 있습니다. 가중치 균등화는 인접한 레이어들의 가중치 범위를 균등하게 조정하여 양자화 효율을 높이는 기법입니다. 예를 들어, 한 레이어의 출력 범위가 다른 레이어의 입력 범위에 맞도록 가중치를 스케일링하여, 양자화 시 값이 더 효율적으로 표현될 수 있도록 돕습니다. 이는 양자화 오류를 줄이는 데 기여합니다.

3.2.2. 점진적 양자화(Gradual Quantization) 및 학습 스케줄

QAT 학습 초기부터 강력한 양자화 효과를 적용하는 것은 모델 수렴을 어렵게 만들 수 있습니다. 점진적 양자화는 학습 초반에는 모델을 부동 소수점으로 충분히 학습시키거나, 양자화 효과를 약하게 적용하고, 학습이 진행될수록 점차적으로 양자화의 강도를 높여가는 전략입니다. 예를 들어, 처음 N 에포크 동안은 FP32로 학습하고, 그 후 양자화 계층을 활성화하거나, 양자화 비트 수를 점진적으로 줄여나갈 수 있습니다. 또한, QAT는 종종 낮은 학습률(Learning Rate)을 요구하며, 학습률 스케줄링(e.g., 코사인 감소)을 통해 안정적인 수렴을 유도하는 것이 중요합니다.

3.2.3. 옵저버(Observer) 및 캘리브레이션 메소드

양자화 시 척도(S)와 영점(Z)을 결정하는 데 사용되는 활성화 값의 분포는 학습 중 계속 변합니다. QAT에서는 학습 중 동적으로 활성화 값의 통계(최소/최대 또는 이동 평균 등)를 수집하는 옵저버(Observer) 모듈을 사용합니다. 이 옵저버는 일정 기간 동안 활성화 값의 분포를 모니터링하여 최적의 S와 Z 값을 계산하고, 이를 기반으로 모의 양자화를 수행합니다. 예를 들어, MovingAverageMinMaxObserver는 활성화 값의 이동 평균 최소/최대 값을 추적하여 양자화 범위를 지속적으로 업데이트합니다.

4. 실제 구현을 위한 워크플로우 (PyTorch 예시)

PyTorch는 QAT를 위한 강력한 도구를 제공합니다. 다음은 PyTorch를 활용한 QAT의 일반적인 워크플로우입니다.

Step 1: 모델 준비 및 연산 병합(Fusion)

양자화 효율을 높이기 위해 특정 연산들을 하나의 연산으로 병합(e.g., Conv-ReLU, Linear-ReLU)합니다. 이는 양자화된 모델이 하드웨어에서 더 효율적으로 실행될 수 있도록 합니다. PyTorch의 fuse_model_qat 함수를 사용합니다.

python

import torch
import torch.nn as nn
import torch.quantization as tq

# 예시 모델
class SimpleModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv = nn.Conv2d(1, 16, 3)
        self.relu = nn.ReLU()
        self.linear = nn.Linear(16*26*26, 10)

    def forward(self, x):
        x = self.conv(x)
        x = self.relu(x)
        x = x.view(x.size(0), -1)
        x = self.linear(x)
        return x

model = SimpleModel()
# Conv-ReLU, Linear-ReLU 등의 연산을 병합합니다.
# QAT를 위해 특정 모듈(예: Conv, Linear)에 양자화 가능한 QAT 레이어를 삽입합니다.
# PyTorch 1.8+에서는 fuse_model_qat이 자동으로 지원됩니다.
model.train()
# tq.fuse_modules(model, [['conv', 'relu']], inplace=True) # 수동 퓨전 예시

Step 2: QAT 설정 (QConfig)

양자화 방식(예: 가중치 및 활성화의 비트 수, 채널별 양자화 여부)을 정의하는 QConfig를 설정합니다. Sub-8비트 양자화를 위해서는 tq.FakeQuantize.with_args를 사용하여 비트 수를 지정할 수 있습니다. 예를 들어, 4비트 가중치와 8비트 활성화를 설정할 수 있습니다.

python

# QAT를 위한 QConfig 설정
# 가중치는 4비트, 활성화는 8비트로 설정하고 싶다면 FakeQuantize를 커스터마이징합니다.
# 실제 Sub-8비트 지원은 백엔드 및 PyTorch 버전에 따라 다를 수 있습니다.

# 예시: 4비트 가중치, 8비트 활성화를 위한 FakeQuantize 설정 (개념적)
# torch.quantization.fake_quantize.FakeQuantize에는 num_bits 인자가 있습니다.

my_qconfig = tq.QConfig(
    activation=tq.FakeQuantize.with_args(observer=tq.MovingAverageMinMaxObserver, quant_min=0, quant_max=255, dtype=torch.quint8, qscheme=torch.per_tensor_affine),
    weight=tq.FakeQuantize.with_args(observer=tq.MovingAverageMinMaxObserver, quant_min=-8, quant_max=7, dtype=torch.qint8, qscheme=torch.per_channel_symmetric, reduce_range=True, num_bits=4)
)

# QAT 준비
model.train()
model.qconfig = my_qconfig # 모델에 QConfig 할당
tq.prepare_qat(model, inplace=True) # 모델에 FakeQuantize 모듈 삽입

Step 3: QAT 학습 (Fine-tuning)

일반적인 모델 학습 과정과 동일하게 모델을 학습(Fine-tuning)합니다. 이 과정에서 FakeQuantize 모듈이 순전파 시 모의 양자화를 수행하고, 역전파 시 STE를 통해 기울기를 계산하여 모델 파라미터와 양자화 파라미터(S, Z)를 업데이트합니다. 이 학습은 수렴을 위해 FP32 학습보다 더 많은 에포크가 필요할 수 있습니다.

python

# 일반적인 학습 루프
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)
criterion = nn.CrossEntropyLoss()

# 예시 데이터 (실제 LLM 학습은 훨씬 복잡합니다)
example_input = torch.randn(1, 1, 28, 28)
example_target = torch.tensor([0])

for epoch in range(10): # 실제 QAT는 더 많은 에포크 필요
    # 데이터 로더를 통해 배치 데이터를 로드합니다.
    output = model(example_input)
    loss = criterion(output, example_target)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    print(f"Epoch {epoch+1}, Loss: {loss.item():.4f}")

    # 점진적 양자화 예시: 특정 에포크 이후 FakeQuantize 활성화 또는 비트 수 조정
    # if epoch == 5:
    #     for n, m in model.named_modules():
    #         if isinstance(m, tq.FakeQuantize):
    #             m.enable_observer_collection()
    #             m.enable_fake_quant()

Step 4: Quantized 모델로 변환

QAT 학습이 완료된 후, convert 함수를 사용하여 FakeQuantize 모듈을 실제 양자화된 연산(예: nn.quantized.Conv2d, nn.quantized.Linear)으로 교체합니다. 이 단계에서 모델은 완전히 양자화된 형태로 변환되어 온디바이스 배포에 적합해집니다.

python

model.eval()
# convert_qat는 QAT 모듈을 실제 양자화된 모듈로 변환합니다.
quantized_model = tq.convert(model.eval(), inplace=False)

# 변환된 모델은 이제 정수 연산을 사용합니다.
# (이후 저장 및 온디바이스 배포)
print("QAT 학습 후 양자화된 모델 구조:")
print(quantized_model)

# 모델 저장
torch.jit.save(torch.jit.script(quantized_model), "quantized_llm_sub8bit.pt")

이 워크플로우는 PyTorch의 양자화 API를 사용한 일반적인 접근 방식이며, Sub-8비트 양자화의 경우, 하드웨어 백엔드의 지원 여부와 PyTorch 버전에 따라 추가적인 커스터마이징이 필요할 수 있습니다. 특히 PyTorch는 최신 버전에서 더 많은 Sub-8비트 및 혼합 정밀도 양자화 기능을 발전시키고 있습니다.

Sub-8비트 양자화 인식 학습(QAT)은 거대 언어 모델을 메모리 및 연산 능력에 제약이 있는 온디바이스 환경에서 효과적으로 구동하기 위한 핵심 기술입니다. 양자화로 인한 불가피한 정밀도 손실을 최소화하면서 모델의 성능을 유지하는 것이 Sub-8비트 QAT의 본질적인 도전 과제이며, 이를 위해 모의 양자화, 기울기 통과 추정기(STE)의 원리를 이해하는 것이 필수적입니다.

본 가이드에서 제시한 채널별 양자화, 혼합 정밀도 양자화, 가중치 균등화, 점진적 양자화와 같은 고급 전략들은 극도로 낮은 비트 심도에서도 LLM의 실용적인 정확도를 달성하는 데 큰 도움이 됩니다. PyTorch와 같은 프레임워크는 이러한 QAT 워크플로우를 구현하기 위한 강력한 도구를 제공하며, 개발자들은 이를 활용하여 실제 온디바이스 LLM 배포의 가능성을 현실로 만들 수 있습니다.

미래에는 하드웨어와 소프트웨어의 긴밀한 공동 설계(Co-design)를 통해 Sub-8비트 양자화의 효율성이 더욱 극대화될 것입니다. 특화된 AI 가속기와 함께 2비트, 심지어 1비트(이진 신경망)와 같은 초저비트 양자화 연구가 활발히 진행될 것으로 예상됩니다. 온디바이스 LLM은 개인화된 경험, 오프라인 기능, 강화된 개인 정보 보호를 제공하며 AI의 새로운 지평을 열 것입니다. 개발자 여러분은 이 기술을 적극적으로 탐구하고 적용함으로써, 사용자에게 더욱 가깝고 효율적인 AI 경험을 선사할 수 있습니다.

주요 용어 해설

양자화 (Quantization)

신경망 모델의 가중치와 활성화 값을 일반적으로 32비트 부동 소수점에서 8비트 또는 그 이하의 정수 형태로 변환하여 모델 크기를 줄이고 추론 속도를 높이는 기술입니다.

온디바이스 LLM (On-Device LLM)

클라우드 서버가 아닌 스마트폰, 임베디드 시스템 등 최종 사용자 기기(엣지 디바이스)에서 직접 실행되는 거대 언어 모델을 의미합니다. 메모리, 연산 능력, 전력 소비량에 제약이 있습니다.

양자화 인식 학습 (Quantization-Aware Training, QAT)

모델 학습 과정 중에 양자화 효과를 시뮬레이션하여, 모델이 낮은 정밀도 환경에 적응하도록 훈련하는 기법입니다. 학습 후 양자화(PTQ)보다 높은 정확도를 달성하는 데 유리합니다.

모의 양자화 (Simulated Quantization)

QAT의 핵심 부분으로, 학습 중에 부동 소수점 값을 낮은 비트 정수로 양자화했다가 다시 부동 소수점으로 역양자화하여 사용하는 과정입니다. 이 과정에서 발생하는 양자화 오차가 학습에 반영됩니다.

기울기 통과 추정기 (Straight-Through Estimator, STE)

양자화 함수(예: round())와 같이 미분 불가능한 함수에 대해 역전파 시 기울기를 1로 간주하여 학습이 가능하도록 만드는 추정 기법입니다.

척도 (Scale, S)

양자화에서 부동 소수점 값 1단위가 정수 값 몇 단위에 해당하는지를 나타내는 파라미터입니다. 부동 소수점 범위와 정수 범위를 매핑하는 데 사용됩니다.

영점 (Zero-Point, Z)

양자화에서 부동 소수점 0이 매핑되는 정수 값입니다. 주로 비대칭 양자화(asymmetric quantization)에서 사용됩니다.

채널별 양자화 (Per-channel Quantization)

텐서 전체에 하나의 양자화 파라미터를 적용하는 대신, 각 입력 또는 출력 채널별로 별도의 척도와 영점을 적용하는 양자화 방식입니다. 채널별 값 분포의 차이를 고려하여 정밀도 손실을 줄입니다.

혼합 정밀도 양자화 (Mixed-Precision Quantization)

모델 내의 각기 다른 레이어나 파라미터 그룹에 서로 다른 비트 수(예: 4비트, 8비트)를 할당하는 양자화 전략입니다. 민감도 분석 등을 통해 각 레이어에 최적의 비트 수를 결정합니다.

가중치 균등화 (Weight Equalization)

인접한 신경망 레이어들의 가중치 범위를 균등하게 조정하여 양자화 시 비효율적인 범위 할당을 줄이고 양자화 효율을 높이는 기법입니다.

LLM_경량화온디바이스_AI양자화_학습거대언어모델엣지_AI저비트_양자화AI_최적화QAT