MART: Improving LLM Safety with Multi-round Automatic Red-Teaming 요약 설명

요약
1 Introduction
2 Approach
3 Experiment
4 Related Work
- 4.1 Adversarial Attack Towards LLM
- 4.2 LLM Safety Alignment
5 Conclusion and Future Work
6 Ethical Statement
부록
짧은 생각

이번 글에서는 MART: Improving LLM Safety with Multi-round Automatic Red-Teaming 논문의 핵심 포인트만 간단히 정리한다.

2023년 11월 13일(Arxiv)
Ge, Suyu, Zhou, Chunting, Hou, Rui, Khabsa, Madian, Wang, Yi-Chia, Wang, Qifan, Han, Jiawei, Mao, Yuning.
GenAI, Meta, University of Illinois Urbana-Champaign
논문 링크

요약

대형 언어 모델(LLM)의 안전하지 않은 응답을 찾아 수정하려면 사람이 테스트 프롬프트와 응답을 반복해서 작성해야 하므로 비용이 많이 든다. Multi-round Automatic Red-Teaming(MART)을 4라운드 수행한 결과, 저자들이 만든 공격 프롬프트 세트 SafeEval에서 모델 기반 위반율이 안전성 정렬을 제한적으로 적용한 instruction-tuned 베이스라인보다 84.7% 감소했다.
MART는 안전하지 않은 응답을 유도하는 프롬프트를 생성하도록 공격 모델을 학습하고, 안전성과 유용성을 기준으로 선별한 대상 모델 자신의 응답으로 대상 모델을 학습한다. 사람의 평가에서 SafeEval 위반율은 상대적으로 53.7% 감소했지만, 보고된 안전성 지표에서 MART는 ChatGPT, GPT4, Llama 2-Chat-70b에 미치지 못했다.
SafeEval과 별도의 Anthropic Harmless 데이터셋에서 안전성이 향상된 반면, 유용성 점수의 변화는 비교적 작았다. 이 방법은 응답 품질을 평가하는 보상 모델에 의존하며, 대상 모델이 개선될수록 생성된 공격의 효과가 감소했다.

1 Introduction

사람이 모델의 유해한 행동을 탐색하는 수동 레드팀 작업에는 공격 프롬프트와 응답을 반복해서 작성하는 노력이 필요하다. MART는 자동 공격 생성과 안전성 파인튜닝을 결합해 대상 모델이 변할 때 공격 모델도 적응하도록 한다.

2 Approach

각 라운드에서는 이전에 성공한 공격을 바탕으로 프롬프트를 생성해 대상 모델에 입력하고, 피드백을 이용해 성공한 공격과 안전하고 유용한 응답을 선별한다. 선별한 예시는 각각 공격 모델과 대상 모델을 업데이트하는 데 사용한다.

성공한 공격을 이용한 공격 모델 학습과 안전한 응답을 이용한 대상 모델의 안전성 정렬

2.1 Initialization

모델 2개는 모두 LIMA와 Open Assistant의 instruction 데이터로 파인튜닝한 LLaMA-65B에서 시작한다. 저자들은 응답이 없는 레드팀 프롬프트 약 2,400개를 선별했으며, 이 부분에서는 학습용 1,700개와 평가용 700개로 설명한다. 피드백에는 기존 안전성 및 유용성 보상 모델을 사용한다.

2.2 Jailbreaking with Adversarial LLM

공격 모델은 먼저 안전하지 않은 주제인 위반 범주와 프롬프트를 표현하는 방식인 공격 스타일이 같은 시드 쌍을 바탕으로 유사한 프롬프트를 생성하도록 학습한다. 이후 라운드에서는 안전성이 낮은 응답을 유도한 프롬프트를 직전 입력 프롬프트와 짝지어 일반 instruction 데이터와 함께 공격 모델 학습에 사용한다.

2.3 Feedback Guided Safety Finetuning

대상 모델은 자신의 응답 중 안전성과 유용성 임계값을 모두 넘는 응답으로 파인튜닝한다. 첫 번째 반복에서는 안전성 사전 프롬프트를 사용하는 context distillation으로 추가 후보를 생성하고, 마지막 반복에서는 rejection sampling으로 프롬프트마다 여러 답변을 생성해 임계값을 통과한 답변 중에서 선택한다.

2.4 Iteratively Training Madv and Mtgt

모델 2개는 반복적인 순환 과정에서 업데이트된다. 성공한 공격은 다음 공격 생성의 기준이 되고, 선별된 응답은 대상 모델을 학습하는 데 쓰인다. 이 설계는 대상 모델의 취약점이 변해도 공격이 효과를 유지하도록 하는 것을 목표로 한다.

3 Experiment

실험에서는 4회 반복에 걸쳐 안전성, 유용성, 공격 생성, 학습 데이터 선별을 평가한다. 비교 대상에는 instruction-tuned Vanilla 베이스라인, 다른 채팅 모델, 대안적인 공격 생성 방법이 포함된다.

3.1 Experimental Setting

저자들은 정제된 Open Assistant 샘플 2,852개와 LIMA 샘플 1,000개를 사용하며, 공격 모델에는 정제된 LIMA 샘플 986개를 사용한다. 대부분의 모델에서 학습률은 1e-5에서 9e-6으로 감소하며, weight decay는 0.1, 배치 크기는 8, dropout은 0.1이다. 생성에는 temperature 0.7과 p = 0.9인 nucleus sampling을 사용한다. Nucleus sampling은 확률을 기준으로 제한한 토큰 집합에서 샘플링하는 방식이다.

논문은 SafeEval 프롬프트 752개와 공격용이 아닌 HelpEval 프롬프트 480개, Anthropic Harmless 프롬프트 2,312개와 AlpacaEval 프롬프트 805개를 보고한다. 앞서 제시한 대략적인 시드 분할에서는 평가용 프롬프트가 700개다.
안전성 보상 모델의 점수가 0.5 미만이면 위반으로 간주하며, 사람 평가자도 안전하지 않은 응답을 표시한다.

3.2 Helpfulness and Safety Performance

SafeEval에서 Vanilla와 MART의 보상 모델 기준 위반율은 각각 31.4%와 4.8%, 사람 평가 기준 위반율은 각각 17.2%와 8.0%다. Anthropic Harmless에서는 보상 모델 기준 위반율이 26.7%에서 6.9%로, 사람 평가 기준 위반율이 12.1%에서 4.9%로 감소했다.

보상 모델과 사람의 평가 순위는 일치하지만, 학습에도 같은 보상 모델을 사용하므로 최적화 편향이 발생할 수 있다.
반복 4회차의 HelpEval 유용성은 1회차보다 3%–4% 낮았으며, AlpacaEval 점수의 변화는 작았다.

동일 도메인과 도메인 외 데이터셋에서 반복에 따른 안전성 및 유용성 보상 모델 점수의 백분위수

3.3 Adversarial Performance for Red-teaming

MART-1shot은 공격 예시 1개를 사용해 공격 모델에 프롬프트를 입력하며, 테스트한 방법 중 최종 SafeEval 위반율이 가장 낮다. 공격용 접미사를 찾기 위해 탐욕적 탐색과 기울기 기반 탐색을 사용하는 Greedy Coordinate Gradient(GCG)는 초기에 더 많은 안전하지 않은 응답을 유도하지만, 첫 번째 안전성 업데이트 후에는 효과가 감소한다.

공격 생성의 위반율은 반복 1회차의 29.74%에서 4회차의 10.21%로 감소해 성공한 공격을 추가로 수집하기 어려워진다.

3.4 Impact of Safety Data Scaling

저자들은 안전성 선별 임계값을 0.4부터 0.9까지, 유용성 임계값을 0.0부터 0.6까지 변경했다. 테스트한 조합 중 안전성 = 0.8, 유용성 = 0.4가 가장 좋은 성능을 보였으며, 선별된 샘플 수가 늘어도 성능이 단조롭게 향상되지는 않았다.

논문은 MART를 자동 공격과 반복적인 안전성 정렬 연구의 맥락에서 설명한다. 논문이 제시한 기여는 생성된 공격을 사용해 계속 변화하는 대상 모델을 개선하는 것이다.

4.1 Adversarial Attack Towards LLM

기존 공격 방법에는 지시를 변경해 원하지 않는 행동을 유도하는 prompt injection, 전이 가능한 공격 프롬프트, 악성 입력을 생성하도록 학습한 모델이 있다. MART도 대상 모델의 피드백을 사용하며 생성한 프롬프트를 대상 모델의 반복적인 안전성 학습에 활용한다.

4.2 LLM Safety Alignment

기존 안전성 정렬은 지도 파인튜닝이나 사람의 피드백을 활용한 강화학습을 사용하며, 대규모 수동 레드팀 작업에 의존하는 경우가 많다. 논문은 이러한 노력의 예로 Claude 초기 학습에 사용된 프롬프트 42k개와 Llama 2-Chat 레드팀 작업에 참여한 350명이 넘는 사람을 제시한다.

5 Conclusion and Future Work

저자들은 향후 확장 방향으로 강화학습과 다중 턴 공격 대화를 제안한다. 실험은 instruction 파인튜닝과 rejection sampling에 초점을 맞춘다.

6 Ethical Statement

윤리 성명은 이중 용도에 관한 우려를 제기하고, 안전성 개선과 함께 시스템 설계, 데이터셋 선별, 사람의 감독, 지속적인 모니터링이 필요하다고 설명한다.

부록

제공된 논문에는 부록이 없다.

짧은 생각

사람의 평가는 보상 모델 평가를 보완하지만, 두 평가 모두 MART가 평가 대상 채팅 모델 베이스라인보다 뒤처진다는 결과를 보인다. 일반화에 관한 근거는 보고된 데이터셋과 모델 설정에 한정되며, 공격 성공률이 감소해 추가 라운드를 진행하기 어렵다.