Qwen3Guard Technical Report 요약 설명

이번 글에서는 Qwen3Guard Technical Report 논문의 핵심 포인트만 간단히 정리한다.

• 2025년 10월 16일(Arxiv)
• Zhao, Haiquan, Yuan, Chenhan, Huang, Fei, Hu, Xiaomeng, Zhang, Yichang, Yang, An, Yu, Bowen, Liu, Dayiheng, Zhou, Jingren, Lin, Junyang, et al.
• 논문 링크
• Github

영문판 보기

요약

• 텍스트를 생성하는 대규모 언어 모델(LLM)의 안전성 분류기는 일관되지 않은 콘텐츠 관리 정책에 대응하고 응답 생성 도중에도 유해 콘텐츠를 감지해야 한다. Qwen3Guard-8B-Gen은 벤치마크마다 Strict와 Loose 중 성능이 더 좋은 모드를 선택했을 때 영어 프롬프트와 응답의 평균 F1이 각각 90.0과 83.9라고 보고한다. 각 과제에서 가장 높은 베이스라인 평균은 87.0과 79.9다. F1은 유해하다고 표시한 샘플 중 실제로 유해한 비율인 정밀도와, 유해한 샘플 중 감지한 비율인 재현율을 결합한 지표다. Strict는 맥락에 따라 판단이 달라지거나 논쟁의 여지가 있는 Controversial 콘텐츠를 Unsafe로, Loose는 Safe로 처리한다.
• Generative Qwen3Guard는 안전성, 유해 범주, 응답 거부 여부를 출력하고 Stream Qwen3Guard는 응답 토큰이 들어올 때마다 분류한다. 토큰은 텍스트를 순차적으로 생성할 때 사용하는 단위다. 두 변형 모두 파라미터 규모가 0.6B, 4B, 8B인 모델을 제공하며 최대 119개 언어와 방언을 지원한다. Safe, Controversial, Unsafe 레이블로 콘텐츠 관리 강도를 선택할 수 있다.
• 보상 피드백으로 학습하는 안전성 강화학습에서 안전성과 유용성을 결합한 보상은 Qwen3-4B의 WildGuard 평가 안전성을 추론 내용을 생성하지 않을 때 64.7에서 98.1로, 추론 내용을 생성할 때 59.0에서 97.4로 높인다. 이때 거부율은 각각 5.3과 6.2다. 스트리밍 감지는 응답만 있는 샘플에서 사람이 표시한 유해 문장과 거의 86.0% 일치한다. 추론 과정과 최종 응답이 함께 있는 샘플에서 보고한 약 66.8%는 4B 모델이 주석 문장 이전이나 문장 안에서, 또는 그 문장 이후 최대 128토큰 이내에 감지한 비율이다.

패널 6개는 영어, 중국어, 다국어 데이터셋의 프롬프트 및 응답 분류를 요약한다. 0.6B 모델은 제시된 영어 베이스라인 평균보다 높지만 다국어 프롬프트 결과는 모델 규모에 더 크게 좌우된다. Qwen3Guard 평균은 평가별 모드 선택을 사용한다.

1 Introduction

가드레일 모델은 안전 정책에 따라 사용자 프롬프트와 모델 응답을 평가하는 외부 분류기다. 서론은 일관되지 않은 이진 레이블과 완성된 응답에 대한 의존을 핵심 문제로 제시하고 3단계 분류기와 스트리밍 변형을 제안한다.

• Controversial은 중간 판단을 제공하며 애플리케이션은 허용 가능한 위험 수준에 따라 이를 Safe 또는 Unsafe로 처리할 수 있다.
• 2가지 응용에서는 생성형 모델을 학습 피드백에 사용하고 스트리밍 모델을 어시스턴트의 재학습 없이 생성 도중 개입하는 데 사용한다.

2 Safety Policy

안전 정책은 잠재적으로 유해한 요청과 유해 정보나 조언을 제공하는 응답을 구분한다. 정책의 원칙은 Input/Output Harm Detection, Comprehensive Coverage, Severity-Level Adaptability다.

• 범주는 Violent, Non-violent Illegal Acts, Sexual Content or Sexual Acts, Personally Identifiable Information, Suicide & Self-Harm, Unethical Acts, Politically Sensitive Topics, Copyright Violation, Jailbreak (Only for input)다. 각각 폭력, 불법 행위 안내, 성적 콘텐츠, 개인 식별 정보의 무단 공개, 자해 권장이나 방법, 비윤리적 행위, 유해한 정치적 허위 정보, 저작물의 무단 사용, 모델의 지시나 조건을 무력화하려는 시도를 다룬다.
• Politically Sensitive Topics는 정부 활동, 역사적 사건, 공인에 관한 명백한 허위 정보 중 대중을 속이거나 사회적 피해를 일으킬 위험이 있는 정보를 다룬다. Jailbreak는 입력에만 적용하며 응답은 포함된 유해 내용에 따라 분류한다.
• Unsafe와 Safe는 대부분의 상황에서 각각 대체로 유해하거나 안전하다는 뜻이다. Controversial은 맥락에 따른 유해성이나 애플리케이션 간 판단 차이를 나타낸다.

3 Generative Qwen3Guard

Generative Qwen3Guard는 지시를 따르도록 학습한 Qwen3 모델을 기반으로, 필요한 콘텐츠 안전성 평가 출력의 예시로 학습하는 지도 미세조정(SFT)을 적용한다. 구조화된 평가 결과를 생성하는 방식으로 분류를 수행한다.

3.1 Task Definition

모델은 과제 정의, 안전 정책, 유해 범주, 대화 맥락, 출력 형식 요구사항을 입력받는다. 가장 최근 사용자 질문이나 어시스턴트 응답을 평가해 안전 수준과 유해 범주를 반환한다. 응답을 평가할 때는 어시스턴트가 요청을 거부했는지도 출력한다.

• 출력에는 Safety:, Categories: 필드를 그대로 사용하며 응답에는 Refusal:도 사용한다. Safe 콘텐츠에는 Categories: None을 출력한다.
• 예시에 나온 유해한 요청과 안전한 거부 응답에는 서로 다른 안전성 레이블을 부여한다. 이를 통해 프롬프트의 위험과 응답 내용을 구분한다.

짝지은 예시는 프롬프트의 위험과 응답의 안전성을 구분한다. 유해한 요청은 Unsafe이고, 어시스턴트의 거부 응답은 Safe다. 응답 평가에서는 거부 레이블도 출력한다.

3.2 Data Collection

학습 데이터는 사람이 주석을 달거나 합성한 예시 1.19M개를 넘으며 프롬프트가 41.2%, 응답이 58.8%를 차지한다. 전체 데이터에서 중국어, 영어, 한국어의 비중은 각각 26.64%, 21.9%, 9.91%다.

• 시드 예시에서 지시를 생성하는 프레임워크인 Self-Instruct로 유해 범주를 계층적으로 나눈 세분화된 안전 분류 체계를 확장한다. 키워드 기반 합성으로 주제를 다양화하며 표현이 유사한 안전 프롬프트와 유해 프롬프트를 짝지어 표면적인 어휘 단서에 대한 의존을 줄이고자 한다.
• 응답에는 사람이 작성한 내용, 지시 모델의 출력, 지시 튜닝 이전의 베이스 모델로 합성한 유해 출력, 추론 모델이 생성한 추론 과정을 함께 사용한다.
• 여러 Qwen 모델의 투표로 주석을 결정하며 사람이 주석을 단 검증 세트에서 안전성 레이블의 F1이 0.9를 넘는다. 데이터 확장에 사용하는 번역 모델 Qwen-MT로 콘텐츠를 추가 15개 언어로 번역하고 언어 혼합 검사, 모델 평가, 표본 수동 검토를 수행한다.

학습 예시에서 응답은 58.8%, 프롬프트는 41.2%를 차지한다. 중국어와 영어를 합하면 데이터의 48.54%이므로, 최대 119개 언어를 지원한다고 학습 데이터가 언어별로 균형 있게 구성되었다는 뜻은 아니다.

3.3 Training

학습에서는 다른 분할로 학습한 모델이 각 분할에 레이블을 부여하는 교차 주석과, 더 큰 교사 모델로 레이블을 정제하는 레이블 증류를 통해 부족한 Controversial 예시와 주석 오류에 대응한다. 데이터를 Part A와 Part B로 나눈 뒤, Safe/Unsafe 샘플링 비율을 달리해 학습한 모델들이 반대쪽 분할에 레이블을 부여한다. 판단이 불일치하면 Controversial로 처리한다.

• Figure 3은 Safe 예시를 늘린 학습을 Loose 예측과, Unsafe 예시를 늘린 학습을 Strict 예측과 연결한다. 이는 Safe 예시가 많아질수록 예측이 관대해진다는 앞선 관찰과 일치한다. 그러나 함께 제시된 PartA-Strict와 PartA-Loose 설명은 이 관계를 반대로 적어, 샘플링 설명에 내부 모순이 남아 있다.
• 분할의 역할을 바꿔 전체 데이터에 같은 절차를 적용한다. 이어지는 2차 교차 분할 정제 단계에서는 Qwen3-32B를 교사 모델로 사용해 주석 오류를 줄인다.

각 분할에는 다른 분할로 학습한 모델이 주석을 단다. 판단이 일치하면 Safe 또는 Unsafe를 부여하고 Strict/Loose 판단이 불일치하면 Controversial을 부여한다. 도식의 샘플링 관계는 함께 제시된 모델별 설명과 모순된다.

3.4 Evaluation

평가는 영어 프롬프트 데이터셋 7개와 영어 응답 데이터셋 7개를 다루며, 생성된 추론 과정과 응답에 사람이 주석을 단 Think도 포함한다. 중국어 평가에는 번역한 공개 데이터셋과 내부 정치 민감 주제 데이터셋 PolST를 사용한다. PolST에는 프롬프트 1,412개와 응답 4,038개가 있으며 이 중 유해한 프롬프트는 862개, 유해한 응답은 2,019개다.

• 영어 프롬프트 벤치마크는 ToxicChat, OpenAIModeration, Aegis, Aegis2.0, SimpleSafetyTests, HarmBench, WildguardTest다. 응답 벤치마크는 Harmbench, 사람의 피드백에 기반한 안전성 데이터셋 SafeRLHF, Beavertails, 과도한 안전 행동을 평가하는 XSTest, Aegis2.0, WildguardTest, Think다. 이 데이터셋들은 안전성 분류의 참조 레이블을 제공한다.
• 다른 언어의 평가에서는 프롬프트에 다국어 독성 벤치마크 RTP-LX와 PolyGuard-Prompt를, 응답에 PolyGuard-Response를 사용한다고 명시한다. 보고된 다국어 표에는 RTP-LX와 PolyGuard-Response 결과가 제시된다.
• 비교 모델은 모두 안전성 분류기인 LlamaGuard3-8B, LlamaGuard4-12B, WildGuard-7B, ShieldGemma-9B와 ShieldGemma-27B, NemoGuard-8B, PolyGuard-Qwen-7B다. Strict Mode는 Controversial을 Unsafe로, Loose Mode는 Safe로 처리한다.

3.4.1 Main Results는 영어 벤치마크 14개 중 8개에서 최고 성능을 보고한다. Qwen3Guard-8B-Gen의 영어 프롬프트/응답 평균은 90.0/83.9, 중국어 프롬프트/응답 평균은 85.1/87.1이다. Qwen3Guard-4B-Gen은 중국어 응답에서 87.3을 기록해 8B 모델을 소폭 앞선다. 다국어 응답에서도 78.1로 77.6보다 높다.

• 별표가 붙은 Qwen3Guard 평균은 벤치마크마다 Strict와 Loose 중 더 좋은 결과를 선택한다. 다국어 표에서도 언어 열마다 선택한 결과에 밑줄을 표시한다. 이 결과는 평가별 정책 일치 수준을 보여주며, 일반적으로 고정된 배포 모드의 성능을 뜻하지 않는다.
• RTP-LX에서 8B 모델의 보고된 평균은 85.0으로 PolyGuard-Qwen-7B의 80.9보다 높다. 0.6B 모델은 74.8이므로, 모든 규모와 과제에서 기존 가드보다 우수한 것은 아니다.
• Think에서 4B와 8B 생성형 모델 모두 Strict Mode로 84.0을 기록하며 가장 높은 비교 베이스라인은 81.1이다. 정밀도와 재현율은 콘텐츠 관리 정책과 벤치마크에 따라 달라진다.

벤치마크별로 모드를 선택한 8B 생성형 모델의 영어 프롬프트 평균은 90.0이며, 가장 높은 베이스라인 평균은 87.0이다. ToxicChat과 OpenAIModeration에서는 Loose Mode가, Aegis에서는 Strict Mode가 더 좋은 성능을 보인다.

8B 생성형 모델의 평균은 83.9로 WildGuard-7B의 79.9보다 높지만 XSTest에서는 WildGuard의 점수가 더 높다. Think에서는 Strict Mode의 4B와 8B 모두 84.0으로, 가장 높은 비교 베이스라인 점수 81.1을 넘는다.

Qwen3Guard의 최고 프롬프트 평균은 85.1, 최고 응답 평균은 87.3이다. 번역한 공개 평가와 특정 정책에 따른 내부 평가를 결합한 결과에는 내부 PolST 데이터셋에서의 큰 성능 향상이 기여한다.

8B 모델의 보고된 RTP-LX 평균은 85.0으로 PolyGuard-Qwen-7B의 80.9보다 높으며 표시된 모든 언어 열에서 Strict Mode가 더 좋다. 0.6B 평균 74.8은 해당 베이스라인보다 낮다.

4B 생성형 모델은 Qwen3Guard 중 가장 높은 평균 78.1을 기록하며 8B 모델의 77.6과 PolyGuard-Qwen-7B의 74.0을 넘는다. 파라미터 수를 늘려도 다국어 응답 분류가 일관되게 개선되지는 않는다.

유해 범주 평가는 WildGuard, BeaverTail, Aegis2.0에서 사람이 주석을 단 유해 예시를 사용한다. 실제 범주와 예측 범주를 비교한 혼동 행렬에서는 Copyright가 취약한 범주로 나타난다. Qwen3Guard-4B-Gen의 거부 감지 F1은 XSTest에서 94.6, WildGuardTest에서 90.2이며, WildGuard-7B는 각각 93.3과 88.6이다.

• 정책 분석에서는 Strict Mode가 Aegis에, Loose Mode가 OpenAIModeration에 더 잘 맞는다. 저자들은 무해한 응답으로 이어질 수도 있는 요청에 대한 허용 수준의 차이가 프롬프트 정책 간 판단 불일치를 일으킨다는 가설을 제시한다.
• 선택한 학습 구성요소를 제거해 비교하는 3.4.2 Ablation Study에서는 Controversial을 추가하면 4B 모델의 Loose-mode ToxicChat F1이 이진 모델의 71.1에서 80.9로, OpenAIModeration F1이 70.2에서 80.2로 높아진다. 일부 응답 벤치마크에서는 이진 모델의 성능이 더 높으므로, 개선이 모든 과제에 적용되지는 않는다.
• Table 9에서 증류에 따른 평균 향상은 Strict/Loose 순서로 프롬프트에서 +0.47/+1.10, 응답에서 +0.50/+0.76이다. 개별 점수는 하락하기도 하며, Loose-mode XSTest 응답은 1.3점 낮아진다.

정밀도와 재현율을 나타낸 점들은 데이터셋과 콘텐츠 관리 모드에 따라 분류 오류가 어떻게 달라지는지 보여준다. Qwen3Guard Strict는 Aegis에, Loose는 OpenAIModeration에 더 잘 맞는다. 이 차이는 저자들의 정책 불일치 분석을 뒷받침한다.

대각선의 수치는 많은 유해 예시에서 범주를 올바르게 예측했음을 보여주며, Unethical Acts와 관련된 혼동도 나타난다. Copyright 응답 행에는 올바른 예측이 없어, 종합 안전성 점수로 드러나지 않는 범주별 취약성을 보여준다.

4B 모델은 두 데이터셋 모두에서 제시된 최고 거부 감지 F1인 94.6과 90.2를 달성한다. 재현율이 정밀도보다 높으므로, 많은 거부를 감지하면서도 일부는 거부로 잘못 분류한다.

Controversial 레이블은 ToxicChat과 OpenAIModeration에서 모드를 선택한 성능을 크게 개선한다. 여러 응답 결과에서는 이진 모델의 성능이 더 높으므로, 표가 모든 과제의 개선을 입증하지는 않는다.

증류는 두 모드의 보고된 평균 점수를 개선하며 Loose Mode에서 향상 폭이 더 크다. Loose-mode XSTest 응답의 −1.3을 포함한 음수 항목은 향상 정도가 과제마다 다름을 보여준다.

3.5 Application I: Safety RL with Generative Qwen3Guard

안전성 강화학습(RL)은 Qwen3Guard-4B-Gen을 안전성 평가자로 사용해 Qwen3-4B를 학습한다. 3.5.1 Reward Design은 Guard-Only Reward와 Hybrid Reward를 비교한다. Hybrid Reward는 응답 유용성 점수 모델 WorldPM-Helpsteer2도 사용하며 거부에 페널티를 부여한다.

• x는 프롬프트, t는 추론 내용, y는 최종 응답이다. Guard-Only Reward는 is_safe(x,t)와 is_safe(x,y)가 모두 성립하면 1.0, 그렇지 않으면 0.0이다. Unsafe와 Controversial 예측은 모두 안전하지 않은 것으로 처리한다.
• Hybrid Reward는 is_unsafe(x,t) 또는 is_unsafe(x,y)가 성립하면 min(−10, WorldPM(x,y)), is_refusal(x,y)가 성립하면 min(−5, WorldPM(x,y)), 그 외에는 WorldPM(x,y)다.
• 3.5.2 Experiment Settings에서는 정책을 학습하는 RL 알고리즘으로 Group Sequence Policy Optimization(GSPO)을 사용한다. 일반적인 유해 요청과 유해 답변을 유도하는 적대적 시도로 구성된 WildJailbreak 학습 프롬프트마다 응답 8개를 생성한다. 모두 안전하거나 모두 유해한 그룹을 제거하면 Think-mode 샘플 13.7k개와 Non-Think-mode 샘플 6.7k개가 남는다.

WildJailbreak 평가 세트에는 유해한 프롬프트 2,000개와 무해한 프롬프트 210개가 있다. 안전성은 보상을 제공한 가드 대신 Qwen3-235B-Instruct-2507과 WildGuard로 평가한다. Qwen3-235B-Instruct-2507은 다른 모델의 출력을 평가하는 언어 모델인 LLM-as-a-Judge로 사용한다. WildGuard는 거부 여부도 측정한다.

• 일반 능력은 응답 품질을 평가하는 Arena-Hard-v2, 수학 추론을 평가하는 AIME-25, 코드 생성을 평가하는 LiveCodeBench-V6, 대학원 수준 지식을 평가하는 GPQA로 측정한다. Pass@1은 처음 생성한 답변의 성공률을 나타낸다.

3.6 Experiment Results

Guard-Only Reward는 두 모드 모두에서 Qwen3 평가 안전성 99.7, WildGuard 평가 안전성 100.0을 달성한다. 이때 거부율은 Non-Think mode에서 96.6, Think mode에서 95.2다. Hybrid Reward는 거부율을 5.3과 6.2로 유지하면서 안전성을 높이며 ArenaHard-v2 승률도 9.5에서 10.7로, 13.7에서 16.6으로 높인다.

• 안전성 평가자에 따라 점수 수준이 다르다. Hybrid Reward의 Non-Think/Think 점수는 Qwen3 평가에서 86.5/83.4, WildGuard 평가에서 98.1/97.4다.
• 능력 유지 수준은 고르지 않다. Think mode에서 Hybrid Reward는 AIME25를 65.6에서 63.5로, LCB-v6를 48.4에서 47.5로, GPQA를 55.9에서 51.2로 낮춘다.
• Qwen3Guard-Gen-4B로 측정한 학습 곡선에서는 Guard-Only Reward가 안전성과 거부율을 모두 높은 수준으로 끌어올린다. Hybrid Reward는 안전성을 개선하며 초기에 상승했던 거부율은 이후 감소한다.

Guard-only 학습은 평가된 안전성이 거의 완벽하지만 거부율이 95%를 넘는다. Hybrid 학습은 거부율을 낮게 유지하고 ArenaHard-v2 승률을 높이지만 일부 능력 점수는 하락하며 특히 Think-mode GPQA의 하락이 두드러진다.

Guard-only 학습은 안전성과 거부율을 함께 높인다. Hybrid 학습은 안전성을 개선하며 초기에 상승했던 거부율은 이후 감소한다. 이 곡선은 Qwen3Guard로 측정하며 최종 결과 표는 별도의 안전성 평가자를 사용한다.

4 Stream Qwen3Guard

Stream Qwen3Guard는 지금까지 생성된 텍스트인 응답 접두부를 평가하며 토큰마다 Safe, Unsafe, Controversial 레이블을 부여한다. 프롬프트는 어시스턴트와 가드에 모두 전달한다. 외부 프레임워크가 중단 여부를 결정하며 생성이 계속되면 응답 토큰을 안전성 검사에 즉시 전달한다.

프롬프트와 응답 검사기는 대화에서 서로 다른 대상을 평가한다. 콘텐츠가 들어오면서 응답 레이블이 바뀌며, 처음 Safe로 판단한 접두부도 이후 Unsafe 판단으로 이어질 수 있음을 보여준다.

4.1 Architecture

맥락을 반영한 텍스트 표현을 생성하는 기반 모델인 Qwen3 transformer의 마지막 층에 독립적인 분류 경로 2개를 연결한다. 한 경로는 사용자 질문을, 다른 경로는 어시스턴트 응답을 평가하며 각 경로가 심각도와 유해 범주를 예측한다.

• 각 경로는 현재 토큰에 대한 백본의 내부 표현인 마지막 은닉 상태를 선형 투영하고 이 표현을 정규화하는 LayerNorm을 적용한다. 이어 위험과 범주별로 레이블 확률 분포를 출력하는 별도의 Softmax를 사용한다.
• 이 설계는 새 접두부마다 텍스트 평가문을 생성하는 대신 분류 결과를 직접 출력한다.

4.2 Data Collection

샘플 수준의 Unsafe 또는 Controversial 레이블에서 최초의 유해 경계를 찾아 토큰 주석을 만든다. 각 접두부에 대해 앙상블이 가능한 후속 내용인 롤아웃을 생성한다. Generative Qwen3Guard가 완성된 응답을 검사하고 최소 85%가 Unsafe 또는 Controversial이면 해당 접두부를 위험 후보로 표시한다.

• 유해한 후속 내용 때문에 원래는 무해한 접두부의 위험을 과대평가할 수 있으므로, Qwen3-235B-A22B는 이후 내용을 예측하지 않고 현재 접두부만 별도로 평가한다.
• 롤아웃 평가에서 위험이 표시되고 접두부 평가자도 현재 텍스트를 Unsafe로 판단할 때만 경계를 인정한다. 조건을 처음 충족한 토큰과 이후 모든 토큰에는 원래 샘플 수준의 레이블을 부여하고 앞선 토큰은 Safe로 처리한다.
• 보고서는 85% 임계값이 예비 실험에서 사람의 주석과 부합했다고 설명하지만 임계값별 정량 비교는 제공하지 않는다.

4.3 Training

정답 클래스에 낮은 확률을 부여할수록 페널티가 커지는 교차 엔트로피 손실로 질문과 응답의 심각도 및 범주 예측을 함께 최적화한다. 질문 손실은 마지막 <|im_end|> 토큰에서만 계산하고 응답 손실은 모든 응답 토큰의 심각도 및 범주 손실을 평균한다.

• 정답 위험 레이블이 Unsafe 또는 Controversial일 때만 범주 손실을 포함한다. Safe 예시는 범주 손실 없이 심각도 손실에만 기여한다.

4.4 Evaluation

Stream 평가는 Generative Qwen3Guard와 같은 분류 데이터셋 및 지표를 사용한다. 연속된 예측으로 판단을 확인하는 디바운싱 메커니즘에 따라 토큰 i와 토큰 i−1이 모두 Unsafe 또는 Controversial로 분류될 때만 응답을 위험으로 표시하고 토큰 i의 범주를 응답 범주로 사용한다.

• 4B 모델의 Stream과 Gen 평균은 영어 프롬프트에서 89.1과 89.3, 영어 응답에서 81.8과 83.7, 중국어 프롬프트에서 84.1과 84.6, 중국어 응답에서 84.9와 87.3이다.
• 보고된 다국어 평균은 4B 프롬프트에서 80.2와 81.6, 4B 응답에서 75.5와 78.1이다. 0.6B 프롬프트의 격차는 64.4와 74.8로 훨씬 크다.
• 보고서가 제시한 평균 약 2점 하락은 모든 모델 규모와 벤치마크를 대표하지 않는다.

4B에서 모드를 선택한 Stream의 영어 프롬프트 평균 89.1은 Gen의 89.3과 거의 같다. Previous Best는 벤치마크마다 기존 모델의 최고 점수를 결합한 것이므로, 그대로 배포할 수 있는 베이스라인 1개를 뜻하지 않는다.

4B 스트리밍 모델의 응답 평균은 81.8로 Gen의 83.7보다 낮지만 Strict-mode Think 점수는 85.4로 Gen의 84.0보다 높다. 평균 정확도가 낮다고 모든 개별 데이터셋에서 성능이 하락한 것은 아니다.

4B에서 Stream은 Gen보다 프롬프트 평균이 0.5점, 응답 평균이 2.4점 낮다. PolST 응답에서는 Strict Mode의 점수가 Loose Mode보다 훨씬 높다.

보고된 0.6B 스트리밍 모델의 다국어 프롬프트 평균은 64.4로, Gen의 74.8과 10.4점 차이가 난다. 4B와 8B에서는 보고된 격차가 더 작으므로, 정확도 손실은 모델 규모에 따라 달라진다.

스트리밍 평균은 0.6B, 4B, 8B에서 각각 70.6, 75.5, 75.8이다. 해당 Gen 평균보다 낮지만 더 큰 스트리밍 변형들은 기존 PolyGuard-Qwen-7B 평균 74.0을 넘는다.

감지 지연은 보고서에 명시된 응답 전용 샘플 813개와 추론 내용 및 최종 응답을 포함한 샘플 569개로 평가한다. 토큰 수준 주석은 주석자 간 일치도가 낮아, 사람이 최초로 유해하거나 논쟁적인 내용이 나타나는 문장을 표시한다. Hit는 정확한 토큰의 일치가 아니라 해당 문장 안에서 감지했다는 뜻이다.

• 응답 전용 샘플의 Hit 수는 8B에서 694개, 4B에서 699개다. 보고서는 응답 전용 성능을 거의 86.0%로 요약하지만 표시된 4B 구간의 합은 814개로 명시된 813개보다 1개 많다.
• 추론과 응답이 함께 있는 샘플에서 4B의 Ahead, Hit, 1–32, 33–64, 65–128 구간을 합하면 569개 중 380개로, 보고된 약 66.8%와 일치한다. 이는 주석 문장 이전이나 문장 내 감지와 문장 이후 최대 128토큰 지연을 포함하며 생성된 첫 128토큰 안의 감지를 뜻하지 않는다.
• 효율 비교에서는 누적 응답을 32토큰 간격으로 Gen에 반복 제출한다. Stream은 이전 토큰을 다시 처리하지 않고 들어오는 토큰을 처리한다. Figure 9는 Gen의 최초 32토큰 검사 시간을 기준으로 정규화한 상대 시간을 보고하며 절대 지연이나 하드웨어 사양은 제공하지 않는다.

응답 전용 감지는 사람이 표시한 문장에 집중되며, Hit 수는 8B와 4B에서 각각 694개와 699개다. 추론과 응답이 함께 있는 결과에는 더 긴 지연과 Safe 예측이 포함된다. 4B에서 Ahead와 Hit를 포함해 65–128까지의 구간을 합하면 569개 중 380개로, 보고된 66.8%를 설명한다.

생성형 베이스라인은 32토큰 묶음마다 누적 접두부를 반복 분류하므로 추가 처리 비용이 커진다. Stream의 상대 시간은 더 완만하게 증가하지만 정규화된 축은 절대 지연이나 하드웨어별 처리량을 제공하지 않는다.

4.5 Application II: Real-time Safety Intervention with Stream Qwen3Guard

Stream Qwen3Guard는 위험 출력이 감지되면 생성을 수정하는 감지, 롤백, 개입 프레임워크 CARE의 안전성 검사기를 대체한다(Hu et al., 2025). 실험에는 Qwen3-4B, 40토큰 버퍼, 최대 5회 재시도를 사용한다.

• Non-Think mode에서 Qwen3-assessed 안전성은 47.5에서 85.7로, WildGuard 평가 안전성은 64.7에서 95.7로, 품질은 50.0에서 66.4로 높아진다. Think mode에서는 각각 43.8에서 72.0으로, 59.0에서 88.9로, 58.1에서 67.8로 높아진다. 품질은 Qwen3-235B-A22B-Instruct-2507이 Arena-Hard 채점 절차로 평가한다.
• Wait Tokens는 롤백으로 인해 사용자가 추가로 기다리는 토큰 수를 측정한다. 평균은 Non-Think mode에서 70.1, Think mode에서 101.0으로, 개입에 여전히 비용이 있음을 정량적으로 보여준다.
• 표는 CARE를 적용한 어시스턴트와 수정하지 않은 어시스턴트를 비교하며 CARE의 기존 생성형 안전성 검사기와 직접 비교한 수치는 제공하지 않는다.

4B 스트리밍 가드를 사용하는 CARE는 두 모드 모두에서 Qwen3-4B 단독 사용보다 평가된 안전성과 품질을 높인다. 평균 Wait Tokens 70.1과 101.0은 롤백 개입에 따른 추가 생성을 정량적으로 나타낸다.

5 Related Work

관련 연구는 안전성 학습, 지시를 따르는 가드 모델, 안전성 판단을 추론하는 가드, 다국어 콘텐츠 관리, 토큰 수준 분류기를 다룬다. 보고서는 불완전한 접두부에 대한 롤아웃 기반 주석을 문장 수준 근사와 구분하고 모델 투표로 Controversial 레이블을 구성하는 방식을 기존 규칙 기반 레이블링과 구분한다.

• 이 절은 선행 연구가 이미 Controversial 레이블을 도입하고 토큰 수준 콘텐츠 검사를 탐구했음을 인정한다. Qwen3Guard의 기여에는 레이블 구성 파이프라인, 스트리밍 구현, 두 변형과 응용의 평가가 포함된다.

6 Conclusion

결론은 Qwen3Guard를 3단계 판단과 생성형 및 스트리밍 변형을 결합한 다국어 콘텐츠 관리 도구로 제시한다. 외부 콘텐츠 관리만으로 안전성을 완전히 해결할 수 없음을 인정하며 모델 안전성과 생성 도중 개입에 관한 후속 연구를 논의한다.

Limitations

명시된 한계는 표적 적대적 프롬프트에 대한 취약성, 콘텐츠 관리 주석의 편향, 부분 맥락에서의 제한된 일반화, 지역 및 문화 차이에 대한 부족한 민감성이다. 모델에는 지리적 위치를 반영하거나 정책에 적응하는 메커니즘이 없으므로, Strict 또는 Loose Mode를 선택하는 것만으로 특정 관할권에 대한 적응이 입증되지는 않는다.

• 바꿔 쓰기, 난독화, 맥락 조작으로 가드를 우회할 수 있다. 벤치마크 점수는 정교한 표적 공격에 대한 강건성을 입증하지 않는다.
• 학습 주석은 특정 인구 집단, 언어 집단, 문화 집단의 콘텐츠를 과도하게 표시할 수 있다. 보고서는 이 위험을 제시하지만 별도의 인구 집단별 공정성 평가는 보고하지 않는다.
• Stream은 부분 맥락만 사용하므로 모호한 초기 구절, 학습 데이터와 다른 분포, 학습 자원이 부족한 언어에서 오탐이나 미탐이 발생할 수 있다. 오탐은 위험을 잘못 표시하는 것이고, 미탐은 유해 콘텐츠를 놓치는 것이다.

Authors

보고서의 저자는 Qwen Team으로 표기된다. Core Contributors는 Haiquan Zhao, Chenhan Yuan, Fei Huang, Xiaomeng Hu, Yichang Zhang, An Yang, Bowen Yu, Dayiheng Liu, Jingren Zhou, Junyang Lin이며, 뒤이어 알파벳순으로 정렬한 별도의 기여자 목록이 나온다.

부록

• 6.1 Instruction Template of Generative Qwen3Guard는 프롬프트와 응답 평가용 전체 템플릿을 제공한다. 템플릿은 Safety: Safe, Safety: Unsafe, Safety: Controversial, Categories:를 명시하며 응답 평가에는 Refusal: Yes 또는 Refusal: No를 추가한다. Jailbreak는 프롬프트 템플릿에만 등장한다.
• 6.2 Categories Classification Results of Stream Qwen3Guard는 Gen과 같은 범주 데이터셋으로 스트리밍 유해 범주를 평가한다. 혼동 행렬은 여러 범주에서 올바른 분류를 보여주지만 Copyright Violation 응답은 올바르게 분류한 사례가 없고 Political 예시는 Unethical Acts로 자주 분류한다.
• 6.3 Illustrative Example of Sentence-Level Annotation for Stream Qwen3Guard’s Latency Evaluation은 응답을 4개 문장으로 나누고, 2번째 문장을 Suicide & Self-Harm에 해당하는 최초 유해 문장으로 표시한다. 이 예시는 지연 평가에 사용하는 문장 수준의 참조 기준을 설명한다.
• 6.4 A Case Study of Safety RL은 허구로 포장한 유해 요청에 대한 Qwen3-4B와 Hybrid 보상으로 학습한 SafeRL 변형의 응답을 비교한다. 제시된 SafeRL 응답은 명시적인 유해 지침이나 전면적인 거부 없이 이야기 구성 조언으로 유도한다. 이 단일 예시는 다양한 공격에 대한 강건성을 측정하지 않는다.

짧은 생각

공학적 기여는 정책에 따라 달라지는 분류와 생성 도중의 순차적 감지를 결합한 데 있다. 벤치마크별 Strict/Loose 결과는 중간 레이블의 유용성을 뒷받침하며 지연 실험은 사람이 표시한 유해 문장을 기준으로 감지 시점을 평가한다.

배포 평가에서는 벤치마크별 모드 선택, 보고된 0.6B 다국어 프롬프트 성능 격차, 추론 내용의 감지 지연을 고려해야 한다. 샘플링 설명의 모순은 재현성을 제한하며 상대 실행 시간 그래프는 운영 환경의 처리량이나 절대 응답 지연을 입증하지 않는다.

응용 결과는 안전성과 거부 사이의 절충을 정량적으로 보여준다. Guard-Only Reward는 95%를 넘는 거부율을 보이며 Hybrid Reward는 평가된 안전성이 더 낮지만 거부율을 낮게 유지한다. 학습 가드와 별도의 평가자를 사용한 점은 근거를 강화한다. 그러나 평가자 간 불일치와 Think-mode GPQA가 55.9에서 51.2로 하락한 결과를 고려하면 일반 능력을 유지했다는 주장은 제한적으로 받아들여야 한다.