Black-Box On-Policy Distillation of Large Language Models 요약 설명

요약
1 Introduction
2 Method
3 Experiments
4 Related Work
5 Conclusion
부록
짧은 생각

이번 글에서는 Black-Box On-Policy Distillation of Large Language Models 논문의 핵심 포인트만 간단히 정리한다.

2025년 11월 13일(Arxiv)
Ye, Tianzhu, Dong, Li, Chi, Zewen, Wu, Xun, Huang, Shaohan, Wei, Furu.
Microsoft Research
논문 링크
Project Page

영문판 보기

요약

이 논문은 교사의 텍스트 응답으로 작은 언어 모델을 훈련하면서 학생이 직접 생성한 응답도 학습에 활용하는 방법을 다룬다. Generative Adversarial Distillation(GAD)은 교사와 학생의 응답에 점수를 매기는 판별기와 학생을 경쟁시켜 훈련한다. 동일한 3 epochs 훈련 일정에서 GAD로 훈련한 Qwen2.5-14B-Instruct의 LMSYS-Chat 대화 테스트 점수는 52.1이다. 교사 응답을 학습하는 sequence-level knowledge distillation(SeqKD)의 점수는 50.6이고, GPT-5-Chat 교사의 점수는 51.7이다. 이 수치는 각 응답을 GPT-4o-generated 기준 응답과 비교해 평가한 뒤 평균한 GPT-4o 평가 점수이며 정확도 백분율이 아니다.

Qwen2.5 학생 크기별 LMSYS-Chat의 GPT-4o 평가 점수와 Dolly, SelfInst, Vicuna의 평균 점수

GAD는 교사의 내부 확률에 접근하지 않고 텍스트만 사용하는 블랙박스 증류와, 현재 학생에서 샘플링한 응답으로 학습하는 on-policy 학습을 가능하게 한다. 판별기는 프롬프트와 응답 쌍에 점수를 매기고, 교사 응답의 순위를 학생 응답보다 높게 매기도록 학습한다. 또한 학생 훈련에 피드백을 제공하는 보상 모델 역할을 한다. 학생과 판별기, 2개 모델은 훈련 내내 갱신된다.
GPT-5-Chat을 교사로 사용했을 때 GAD는 실험한 학생 모델 5개와 평가 데이터셋 4개 모두에서 SeqKD와 초기 instruction-tuned 모델보다 높은 점수를 기록한다. Instruction-tuned 모델은 지시를 따르도록 훈련한 모델이다. 사람 평가에서도 GAD가 SeqKD보다 선호되며, 승리/무승부/패배 비율은 Qwen2.5-7B-Instruct에서 52%/40%/8%, Qwen2.5-14B-Instruct에서 68%/8%/24%, Llama-3.1-8B-Instruct에서 44%/40%/16%다.
판별기를 고정한 실험은 보상 모델을 지속적으로 갱신하는 방식을 뒷받침한다. 고정 판별기를 사용한 실험에서는 응답 길이가 약 1300 tokens까지 늘어나지만 적응형 판별기를 사용한 실험에서는 응답 길이가 비교적 안정적으로 유지된다. 교사와 비슷한 성능이라는 주장은 보고된 자동 평가 방식에 한정된다. 논문은 주요 점수의 불확실성 추정치나 계산 비용을 맞춘 SeqKD 비교를 제공하지 않는다.

1 Introduction

지식 증류는 교사 모델의 동작을 학생 모델에 전달한다. 화이트박스 증류는 교사의 내부 확률이나 표현을 사용하고 블랙박스 증류는 생성된 텍스트를 사용한다. 내부 정보를 공개하지 않는 교사 모델과 서로 호환되지 않는 토크나이저 때문에 분포를 직접 일치시키기 어렵다. 토크나이저는 텍스트를 모델의 토큰으로 변환하는 체계다.

확률분포 사이의 차이를 측정하는 Kullback-Leibler divergence(KLD)는 일반적인 화이트박스 방법에서 학습 신호를 제공하지만 교사 텍스트만으로는 직접 계산할 수 없다.
서론은 학생이 생성한 응답에 적응형 보상 신호가 필요한 이유를 설명하며 텍스트만 공개하는 교사에도 on-policy 학습을 적용하려 한다.

2 Method

이 방법은 조건부 생성을 다룬다. θ를 매개변수로 갖는 학생 분포 qθ(y|x)는 교사 분포 p(y|x)를 근사해야 하며, x는 프롬프트이고 y는 응답이다. 블랙박스 훈련에서는 교사의 예측 분포 대신 샘플링한 교사 응답을 관찰한다. 따라서 GAD는 학생이 직접 생성한 출력에 피드백을 제공하도록 판별기를 학습한다.

2.1 GAD: Generative Adversarial Distillation

GAD는 프롬프트와 교사 응답 쌍으로 데이터셋을 구성하고 학생 G를 응답을 만드는 생성기로 취급한다. 판별기 D는 프롬프트와 응답을 이어 붙인 입력을 받아 마지막 토큰의 최종 은닉 상태를 스칼라 점수로 투영한다. 판별기는 생성기의 모델 매개변수로 초기화하며 별도의 예측 헤드를 추가한다.

참여자 2개가 경쟁하는 minimax 목적함수는 max_G min_D E_(x,y_t)∼T[−log σ(D(y_t)−D(G(x)))]다. 생성기는 같은 값 함수를 최대화하고 판별기는 최소화한다. 여기서 T는 훈련 데이터셋, y_t는 교사 응답, σ는 sigmoid 함수이며 D(y)는 프롬프트를 조건으로 한 점수를 줄여 쓴 표현이다.
점수 차이에 기반한 쌍별 선호 손실인 Bradley-Terry 손실은 판별기가 교사 응답을 선호하도록 훈련한다. 학생은 자신의 응답에 대한 판별기 점수를 높이려 한다.
Figure 2는 서로 다른 갱신 경로를 보여 준다. 판별기는 기울기로 훈련하고 학생은 샘플링한 텍스트를 바탕으로 정책 기울기를 사용해 갱신한다.

2.2 Training

학생은 판별기 점수의 기댓값 E[D(G(x))]를 최대화한다. 텍스트 샘플링은 학생 매개변수에 대해 미분할 수 없으므로, GAD는 샘플링한 응답과 보상을 바탕으로 생성 동작을 갱신하는 정책 기울기를 사용한다. 실험에서는 그룹 기반 정책 최적화 알고리즘인 GRPO를 사용한다.

판별기는 교사와 학생의 응답 쌍에 대한 Bradley-Terry 손실을 최소화하며 현재 학생 출력에 맞춰 점수를 지속적으로 조정한다.
적대적 훈련 전에 두 모델 모두 1 epoch의 준비 학습을 거친다. 생성기는 교사 응답의 우도를 높이는 지도학습 손실인 교차 엔트로피 손실로 학습하고 판별기는 응답 쌍의 순위를 학습한다.
준비 학습을 제거하는 ablation에서는 어느 모델의 준비 학습을 제거하든 보고된 평가 점수가 낮아진다.

2.3 Implement GAD with Reinforcement Learning Frameworks

GAD는 보상을 사용해 정책을 최적화하는 강화학습 방식으로 구현하며 verl 같은 프레임워크를 활용한다. 생성기는 응답을 샘플링하는 정책 모델이고, 판별기는 보상 모델이며 D(G(x))가 보상을 제공한다. GAD는 정책과 함께 보상 모델도 갱신한다.

Algorithm 1은 먼저 두 모델의 준비 학습을 수행한 뒤, 학생 응답 샘플링, 판별기 보상을 사용한 생성기 갱신, 교사와 학생의 응답 쌍을 사용한 판별기 갱신을 반복한다.
논문은 판별기를 사람의 피드백으로 정책 훈련을 유도하는 reinforcement learning from human feedback(RLHF)의 보상 모델과 연결한다. GAD에서는 응답이 교사와 학생 중 어디에서 생성되었는지를 바탕으로 쌍별 레이블을 정한다.

3 Experiments

실험은 Qwen2.5와 Llama3 instruction 모델을 사용해 GAD를 증류 전 학생 및 SeqKD와 비교한다. 자동 점수 평가, 사람의 응답 비교, 훈련 동작 분석과 함께 준비 학습, 판별기 손실, 판별기 크기를 개별적으로 바꾸는 ablation을 수행한다.

3.1 Setup

훈련에는 정제된 대화 데이터셋인 LMSYS-Chat-1M-Clean에서 샘플링한 프롬프트 200K개와 GPT-5-Chat 응답 쌍을 사용한다. 학생 모델은 Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct, Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct다.

모든 모델은 배치 크기 256으로 3 epochs 동안 훈련하며 최적화는 약 2400 steps 진행한다. 프롬프트와 응답 길이 제한은 각각 2048 tokens와 1536 tokens다. 샘플링의 무작위성을 조절하는 훈련 temperature는 0.8이며, 체크포인트는 50 steps마다 저장한다.
평가에는 훈련에서 제외한 LMSYS-Chat-1M-Clean 샘플 500개, Dolly 샘플 500개, SelfInst 샘플 252개, Vicuna 질문 80개를 사용한다. 뒤의 3개 데이터셋은 훈련 데이터와 다른 데이터셋에서의 성능인 분포 외 일반화를 평가한다.
GPT-4o가 기준 응답을 생성하고 이를 기준으로 모델 응답에 점수를 매긴다. 응답 길이가 허용 범위에 들어오는 체크포인트 중 GPT-4o 점수가 가장 높은 것을 선택한다. 논문은 해당 길이 범위나 별도의 체크포인트 선택용 데이터 분할을 명시하지 않는다.
데이터셋 출처는 https://huggingface.co/datasets/OpenLeecher/lmsys_chat_1m_clean 이며, 대화 플랫폼은 https://lmarena.ai 이다.

3.2 Main Results

Table 2는 GPT-5-Chat을 교사로 사용한 모든 실험에서 GAD가 기준 모델 2개 모두보다 높은 점수를 기록했다고 보고한다. Qwen2.5-14B-Instruct의 GAD/SeqKD 점수는 LMSYS에서 52.1/50.6, Dolly에서 50.4/48.2, SelfInst에서 51.1/49.4, Vicuna에서 51.6/49.7이다. 교사 점수는 각각 51.7, 49.8, 49.7, 49.9다.

LMSYS에서 GAD로 훈련한 Qwen2.5-3B-Instruct의 점수는 48.9이고, SeqKD로 훈련한 Qwen2.5-7B-Instruct는 49.2다. GAD로 훈련한 Qwen2.5-7B-Instruct는 50.8이고, SeqKD로 훈련한 Qwen2.5-14B-Instruct는 50.6이다. 이는 서로 다른 크기의 모델 간 성능이 대략 비슷하다는 논문의 비교를 뒷받침한다.
Llama 학생도 개선된다. SeqKD를 GAD로 바꾸면 LMSYS 점수가 Llama-3.2-3B-Instruct에서는 47.6에서 48.1로, Llama-3.1-8B-Instruct에서는 49.7에서 50.3으로 높아진다.
초기 모델과 비교한 사람 평가의 승리/무승부/패배 비율은 Qwen2.5-7B-Instruct에서 68%/4%/28%, Qwen2.5-14B-Instruct에서 56%/28%/16%, Llama-3.1-8B-Instruct에서 60%/28%/12%다.
SeqKD와 비교한 비율은 같은 순서로 52%/40%/8%, 68%/8%/24%, 44%/40%/16%다. 3개 비교 모두에서 GAD의 승리가 패배보다 많지만 Llama 비교의 승률은 50% 미만이다.

학생 5개의 LMSYS, Dolly, SelfInst, Vicuna 자동 평가 점수

초기 학생 및 SeqKD 학생 대비 GAD의 사람 평가 승리, 무승부, 패배 비율

3.3 Analysis

분석은 어휘 중복도, 단순화한 문제에서의 분포 일치, 적응형 판별기와 고정 판별기의 안정성을 살펴본다. 이 실험들은 제안한 훈련 방식을 보여 주지만 GAD가 전반적인 문체 특성을 전달한다는 저자의 해석을 직접 측정하지는 않는다.

Qwen2.5-14B-Instruct에서 SeqKD는 GPT-4o 점수가 더 낮지만 n=1부터 n=6까지 교사와의 N-gram 중복도가 더 높다. N-gram 중복도는 연속된 n개 토큰의 유사성을 뜻한다. Figure 4는 정밀도와 재현율을 결합한 중복도 지표인 F1 score로 이를 측정한다.
단순화한 실험의 교사는 클래스 0,…,9에 정의된 이산 가우시안 혼합분포로, 여러 가우시안 성분을 결합한 분포다. 교사 샘플만으로 학습하는 단일 가우시안 학생은 GAD에서 자신이 표현할 수 있는 고확률 영역에 집중하며 이를 mode-seeking이라고 한다. SeqKD에서는 확률을 더 넓게 분산하며 이를 mode-covering이라고 한다.
단순화한 실험의 GAD 학생은 샘플링한 보상을 사용하는 정책 기울기 알고리즘인 REINFORCE를 사용한다. 이 예시는 학생의 표현 능력이 제한된 상황에서의 최적화를 보여 주지만 같은 원리가 언어 모델의 성능 향상을 설명한다는 점을 입증하지는 않는다.
고정 판별기 비교에서는 먼저 학생을 SeqKD로 1 epoch 훈련하고 해당 학생을 고정한 상태에서 판별기를 2 epochs 훈련한 뒤, 학생 최적화 중에는 판별기를 고정한다. 논문은 약 300 training steps 이후 바람직하지 않은 출력으로 보상 신호를 악용하는 reward hacking이 발생하며 응답이 약 1300 tokens까지 늘어난다고 보고한다. 제시된 실행에서 적응형 판별기는 응답 길이를 비교적 안정적으로 유지한다.

SeqKD 또는 GAD로 훈련한 Qwen2.5-14B-Instruct와 교사 사이의 N-gram 중복도

3.4 Ablations

Ablation 결과는 실험한 설정에서 두 모델 모두 준비 학습을 수행하고 Bradley-Terry 손실을 사용하며 판별기 크기를 학생 크기에 맞추는 구성을 지지한다. 이 비교 범위에서는 기본 설정을 뒷받침한다.

Qwen2.5-7B-Instruct에서 전체 GAD의 점수는 LMSYS에서 50.8이고, 나머지 데이터셋 평균은 50.0이다. 생성기의 준비 학습을 제거하면 각각 49.7과 49.7로 낮아지고, 판별기의 준비 학습을 제거하면 49.0과 47.7로 낮아진다.
Qwen2.5-3B-Instruct에서 Bradley-Terry 손실의 점수는 LMSYS에서 48.9이고, 나머지 데이터셋 평균은 47.9다. 응답을 교사 또는 학생 출력으로 분류하는 손실인 이진 교차 엔트로피를 사용하면 각각 47.9와 46.4다.
3B 학생에서 판별기를 3B에서 7B로 키우면 점수가 48.9/47.9에서 47.8/46.9로 낮아진다. 7B 학생에서 판별기를 7B에서 14B로 키우면 점수가 50.8/50.0에서 50.5/49.9로 바뀐다.
저자는 이 양상을 생성기와 판별기 사이의 균형으로 설명한다. 실험한 큰 판별기는 점수를 개선하지 않지만 이 비교만으로 균형을 원인으로 특정할 수는 없다.

Qwen2.5-7B-Instruct의 생성기 및 판별기 준비 학습 ablation

관련 연구는 출력 확률, 은닉 상태, 어텐션 점수를 맞추는 화이트박스 방법과 교사가 생성한 텍스트를 학습하는 블랙박스 방법을 구분한다. GAD는 교사의 내부 정보에 접근할 수 없을 때 학생이 생성한 응답으로 학습하는 방법으로 제시된다.

논문은 SeqKD와 교사가 생성한 중간 추론 단계인 reasoning trace를 이용한 지도 미세조정을 기존의 텍스트 전용 접근법으로 소개한다.
적대적 목적함수는 생성기와 판별기를 경쟁시키는 생성적 적대 신경망과, 시퀀스 생성 및 모방학습에 쓰인 기존 적대적 방법을 바탕으로 한다. 생성적 적대 신경망에 대해서는 GAN(Generative Adversarial Networks), GAN 논문 설명 글을 참조하라.

5 Conclusion

결론은 GAD를 적응형 판별기가 학생의 on-policy 최적화에 피드백을 제공하는 텍스트 전용 증류 프레임워크로 제시한다. 실험한 모델 계열과 데이터셋에서 SeqKD보다 높은 대화 평가 점수를 보고하며 지정된 GPT-4o 평가 방식에서는 Qwen2.5-14B-Instruct가 교사와 비슷한 성능을 기록한다.

부록

A Experimental Details의 A.1 Implement GAD with GRPO에서는 각 프롬프트에 대해 학생 응답 그룹을 생성하고 판별기 점수를 각 응답의 보상으로 사용한다. 그룹 내 상대적 보상인 응답 advantage는 보상에서 그룹 평균을 빼고 그룹 표준편차로 나누어 계산한다. 판별기 훈련에서는 각 학생 응답을 동일한 교사 응답과 짝짓는다. Equation (7)은 명시적으로 축약된 식이다. 논문은 제시한 학생 목적함수에서 정책 최적화에 사용하는 제약인 KLD 정규화 항과 클리핑 연산자를 생략한다.
A.2 Training Details에서 GAD는 1 epoch의 준비 학습 이후 2 epochs의 적대적 훈련을 수행하며 공동 준비 학습 갱신 전에 판별기를 10 steps 훈련한다. 학습률 탐색 범위는 [1e-6, 5e-6]이다. SeqKD는 5e-6을 사용하고 GPT-5-Chat을 교사로 사용하는 GAD는 두 단계 모두 1e-6을 사용한다. Qwen2.5 교사를 사용하는 GAD는 준비 학습에서 5e-6을, 이후에는 1e-6을 사용한다. 그룹 크기는 \(N=8\)이고 KLD 가중치는 \(\beta=0.001\)이며, Qwen2.5-14B-Instruct 증류에는 16 H100 GPUs에서 약 30 hours가 걸린다.
A.3 Automatic Evaluation Details에서는 각 단계에서 확률이 가장 높은 토큰을 선택하는 greedy sampling으로 응답을 생성하며 응답 길이를 1536 tokens로 제한한다. Figure 7은 “### Instruction:”, “{instruction}”, “### Response:”를 사용하는 훈련 및 평가용 프롬프트 형식을 제공한다. Figure 8은 GPT-4o에게 유용성, 관련성, 정확성, 상세함을 1부터 10까지의 척도로 평가하도록 요청한다. 보고된 점수는 학생 평점을 학생과 기준 응답 평점의 합으로 나눈 값이므로, 표의 수치는 정확도 백분율이나 직접적인 쌍별 승률이 아니다.
B Additional Results의 B.1 Additional Automatic Evaluation Results에서 Table 6은 GPT-5-Chat 교사 실험 결과에 응답 길이를 추가한다. LMSYS에서 Qwen2.5-14B-Instruct의 평균 응답 길이는 GAD에서 438.9 tokens, SeqKD에서 319.3, 증류 전에는 322.1이며, 교사는 329.1이다. Table 7은 교사와 토크나이저가 호환되지 않는 Llama 학생에 Qwen2.5-14B-Instruct 교사를 사용한 실험이다. GAD는 모델과 데이터셋의 8개 조합 중 7개에서 SeqKD보다 높은 점수를 기록하며 예외인 Llama-3.2-3B-Instruct의 SelfInst 점수는 47.3 대 47.6이다. Llama-3.1-8B-Instruct의 GAD 점수는 LMSYS, Dolly, SelfInst, Vicuna에서 각각 49.6, 49.9, 50.5, 49.7이다.

짧은 생각

GAD는 텍스트만 제공하는 교사를 사용하면서 학생이 생성한 텍스트로 훈련하는 구체적인 방법을 제시한다. 학생이 변할 때마다 판별기도 갱신하는 방식이다. 주요 결과 표의 성능 향상, 준비 학습과 손실 ablation, 고정 판별기의 실패는 이 접근법을 서로 다른 측면에서 뒷받침한다. 단순화한 실험과 어휘 중복도 분석은 성능 향상의 가능한 설명을 제시하지만 완전한 인과적 설명을 확립하지는 않는다.

평가에는 아직 해결되지 않은 질문이 남는다. 논문은 신뢰구간, 사람 평가의 구체적인 표본 수, 명확히 분리된 체크포인트 선택용 데이터셋을 보고하지 않는다. Table 6에서 GAD의 응답은 SeqKD보다 길므로, 평가 점수를 해석할 때 응답 길이와 상세함에 대한 민감도를 고려할 필요가 있다. Table 7은 다른 교사와 호환되지 않는 토크나이저로 결과를 확장한다. 보고된 16 H100 GPUs에서의 30 hours는 훈련 비용의 참고치이며 SeqKD와의 비용 비교는 아니다.

Qwen2.5-14B-Instruct 교사를 사용한 Llama 학생 평가 점수