Agent Safety Should Be a Runtime Contract 요약 설명

Contents

요약
1 Introduction
2 Why Model-Only Alignment Fails on Both Counts
3 Mismatches Between Model Alignment and Agentic Deployment
4 The Two Faces of the Safety Harness
5 Empirical Evidence
6 Example: Code-Patch Submission
- 6.1 Preventive Face
- 6.2 Evidential Face
7 Counterarguments
8 Conclusion
부록
짧은 생각

이번 글에서는 Agent Safety Should Be a Runtime Contract 논문의 핵심 포인트만 간단히 정리한다.

2026년 8월 11일(Arxiv), Preprint
Ng, Albus W., Han, Yi, Zhang, Jusheng, Wang, Wenhao.
Vast Intelligence Lab, Southwest University, Sun Yat-sen University
논문 링크

요약

이 입장 논문은 중요한 결과를 초래하는 AI agent의 안전성을 학습 단계에서만 획득하는 속성이 아니라 harness가 강제하는 runtime contract로 다뤄야 한다고 주장한다. 제안하는 contract는 위험한 행동을 제한하는 예방 통제와 trajectory에 검증 가능한 artifact가 있을 때에만 완료를 인정하는 증거 gate를 결합한다. 저자들은 incident, false-completion, trajectory-schema, proceedings-title audit을 근거로 이 주장을 전개한다. harness에 대해서는 이 글을 참조하라.

1 Introduction

논문은 harness를 foundation model과 현실 세계를 연결하는 비모델 추론 인프라로 정의한다. 여기에는 입력 정제, 출력 filter, 권한, sandbox, 감독, 실행 추적이 포함된다. trajectory는 관찰 가능한 작업과 효과를 기록하며, evidence-gated submission은 명시된 artifact를 검증할 수 없으면 작업 완료를 인정하지 않는다.

2 Why Model-Only Alignment Fails on Both Counts

저자들은 model-only alignment를 2가지 역사적 배포 관행과 대조한다. 컴퓨터 보안은 올바른 신뢰 구성 요소 하나에 의존하지 않고 심층 방어를 발전시켰으며, 실험 과학은 개인적 주장보다 외부에서 확인 가능한 기록을 바탕으로 결과를 인정하는 방향으로 전환했다. 논문은 runtime 예방과 증거를 agent에 필요한 유사한 요구 사항으로 제시한다.

3 Mismatches Between Model Alignment and Agentic Deployment

논문은 model alignment와 중요한 결과를 초래하는 배포 사이에 5가지 불일치가 있다고 지적한다. 통계적 proxy와 형식 명세, 유한한 학습 분포와 open-world 사용, 검증할 수 없는 내부 추론과 재현 가능한 trajectory, 그럴듯한 출력과 근거 있는 증거, 단일 방어 계층과 조합 가능한 방어가 각각 대비된다. 이는 기반 모델을 단순히 scaling해서 해결되는 문제가 아니라 배포 수준의 공백이라고 주장한다.

3.1 Preventive Mismatch

예방 측면에서 논문은 학습된 reward model을 의도한 선호와 달라질 수 있는 방식으로 최적화되는 통계적 proxy로 규정한다. 반면 권한 규칙, tool whitelist, sandbox, 자원 제한은 명시적인 runtime 제약을 제공한다. 다만 논문은 형식 규칙이 조작에 면역이라고 주장하지 않는다. reward model에 대해서는 이 글을 참조하라.

3.2 Evidential Mismatch

증거 측면에서 논문은 model self-report와 model-generated reasoning을 신뢰성이 모델에 의존하는 soft evidence로 본다. 대신 재현 가능한 log, test 재실행, citation 조회, diff, snapshot처럼 agent의 내부 상태를 검사하거나 신뢰하지 않고도 평가할 수 있는 외부 검증 가능 artifact를 권장한다.

3.3 Combined Mismatch

결합된 불일치는 jailbreak, fine-tuning 성능 저하, distribution shift 상황에서 model-level alignment가 단일 실패 지점이 될 수 있다는 점이다. 제안하는 대응은 입력 filtering, tool gating, 출력 screening, sandboxing에 trajectory monitoring, evidence gate, approval gate를 계층적으로 결합하는 방식이다. 따라서 한 메커니즘을 우회하더라도 안전성이나 완료가 곧바로 성립하지 않는다.

4 The Two Faces of the Safety Harness

safety harness는 실행을 관리하는 예방 측면과 주장된 작업 결과를 인정할지 결정하는 증거 측면을 가진다. 논문은 compositional-gating proposition을 통해 이 2가지를 연결하고, 둘을 하나의 runtime contract를 구성하는 요소로 제시한다.

4.1 The Preventive Face: Mechanism Taxonomy and Design Principles

예방 메커니즘은 적용 시점에 따라 예방, 탐지, 교정, 구조적 범주로 구성된다. 설계 원칙은 심층 방어, 최소 권한, fail-safe defaults, complete mediation, auditability를 적용한다. 위험한 기능은 기본적으로 거부하고, 모델과 현실 세계의 상호작용을 매개하며, 행동을 변조 방지 형태로 기록한다.

4.2 The Evidential Face: Agent Trajectory Schema and Evidence Chain

Agent Trajectory는 timestamp와 payload를 갖는 typed event의 유한한 hash-chained sequence로 정의된다. hard evidence는 결정론적 verifier가 외부 참조 상태와 비교해 평가할 수 있는 event가 제공하는 반면, soft evidence는 model-generated content의 정확성에 의존한다. Evidence Chain은 작업별 schema의 모든 요구 사항에 hard evidence를 제공해야 한다.

4.3 Compositional Gating

각 예방 계층은 deterministic finite-state monitor로, 각 증거 gate는 evidence-chain checker로 모델링한다. monitor alphabet이 쌍별로 서로소이고 verifier set이 독립적이면, 병렬 합성은 안전 속성의 conjunction을 강제하고 필요한 모든 evidence chain이 검증될 때에만 완료를 인정한다. 공유 event에는 assume-guarantee reasoning이 필요하며, 일반적인 검증은 exponential일 수 있다.

실행 통제와 evidence-gated acceptance를 결합한 2가지 측면의 AI-agent harness 아키텍처

5 Empirical Evidence

4가지 audit은 인과 평가가 아니라 기술적·반사실적 분석이다. 52개 incident-survey 사례 중 40개는 기능하는 harness 계층으로 완전히 예방할 수 있는 것으로, 11개는 부분적으로 완화할 수 있는 것으로, 1개는 주로 내부 목표 alignment 사례로 코딩했다. false-completion audit에는 이의가 없는 핵심 사례 31개와 논쟁적인 예시 사례 1개가 포함된다. trajectory audit은 12개 system 중 2개에서 submission과 유사한 evidence gate가 문서화되었음을 보인다. 2023–2025년 NeurIPS, ICML, ICLR 논문 28,560편을 대상으로 한 title-level audit은 공공 기록과 절단에 관한 문서화된 한계 아래, 학습 시점 대 배포 시점의 통합 불균형을 8–12×로 추정한다.

incident, false-completion, trajectory, proceedings audit의 주요 결과

12개 공개 agent system과 harness에서 문서화된 evidence-gating 기능

6 Example: Code-Patch Submission

논문은 bug-fix patch를 제출하는 coding agent에 2가지 측면의 contract를 적용한다. 예방 측면은 실행과 권한을 제한하며, 증거 측면은 harness가 완료를 인정하기 전에 연결된 patch diff, timestamp가 있는 developer-test 호출과 결과, commit hash를 요구한다.

6.1 Preventive Face

이 예시는 5개 예방 계층을 사용한다. 네트워크 접근이 없고 project root로 제한된 Docker sandbox, rm·git push·curl에 승인을 요구하는 tool whitelist, filesystem scope guard, credential-read-then-write pattern monitor, rollback과 human escalation이다. 이 메커니즘은 부작용이 지속되기 전에 제한하거나 억제하도록 설계된다.

6.2 Evidential Face

code-patch Evidence Chain은 trajectory hash chain으로 연결된 file_write, shell_exec, tool_result, commit event를 포함한다. submission schema는 commit, 해당 commit의 test exit code 0, 비어 있지 않은 diff를 요구한다. 저자들은 예방 통제가 무력화되었더라도 일치하는 trace가 없는 조작된 결과는 이 chain을 통과하지 못한다고 주장한다.

7 Counterarguments

논문은 runtime control이 model alignment를 대체하는 것이 아니라 보완한다고 주장한다. evidence-gating은 검증 가능한 acceptance condition이 있는 효과에 한정하고, open-ended setting의 non-idempotent action에는 human approval을 권장하며, 작업 수준 schema를 정의하는 데 드는 engineering cost를 인정한다.

8 Conclusion

결론은 canonical trajectory schema, 작업별 evidence requirement, 공개 failure reporting을 중심으로 하는 공통 runtime discipline을 촉구한다. 핵심 아키텍처 주장은 안전성의 관련 단위가 모델만이 아니라 검증 가능한 증거를 갖춘 trajectory라는 점이다.

부록

appendix는 contract를 목표가 아니라 action과 submission에 한정하고, polynomial compositional verification은 verifier independence에 의존한다고 설명하며, classifier-based component는 더 좁은 domain의 취약성을 계속 가진다고 지적한다. 또한 English-language oversampling과 확립된 정확성 기준을 갖춘 작업으로 evidence schema가 현재 제한된다는 점을 제시한다. 이어 canonical hash-chained schema, 공개 task schema와 differential verifier, system-level benchmark, audit-grade logging을 제안한다.

짧은 생각

논문은 안전하지 않은 부작용을 예방하는 일과 agent가 주장한 작업을 완료했는지 검증하는 일을 유용하게 분리하며, code-patch 예시는 이 차이를 구체화한다. 경험적 자료는 특히 incident coding과 proceedings-title audit에서 주로 기술적·반사실적 성격을 가진다. 특정 gate가 안전성, 작업 성공, latency, operator workload에 미치는 효과를 측정하는 통제 연구가 이 systems 제안을 더 뒷받침할 수 있다.