EnvHarness: Awakening Static Worlds for Agent Learning 요약 설명

Contents

• 요약
• 1. Introduction
• 2. EnvHarness
  • 2.1. The EnvHarness Paradigm
  • 2.2. Three EnvHarness Components
• 3. EnvHarness for Agent Learning
  • 3.1. Problem Setup
  • 3.2. EnvRigger
• 4. Experiments
  • 4.1. Experimental Setup
  • 4.2. Main Results
• 5. Analysis
• 6. Related Work
  • 6.1. Environment Scaling
  • 6.2. Self-Evolving Agent
• 7. Conclusion
• 부록
• 짧은 생각

이번 글에서는 EnvHarness: Awakening Static Worlds for Agent Learning 논문의 핵심 포인트만 간단히 정리한다.

• 2026년 8월 20일(Arxiv)
• Huang, Chengsong, Wang, Zifeng, Han, Rujun, Yan, Jun, Chen, Yanfei, CuiZhu, Zoey, Jiang, Ke, Xia, Peng, Yu, Han, Zhuang, Yufan, et al.
• Washington University in St. Louis, Google Cloud AI Research, Google Cloud, University of North Carolina at Chapel Hill
• 논문 링크
• Github
• Project Page

영문판 보기

요약

• EnvHarness는 환경 적응을 래핑 문제로 다룬다. 플러그인 구성 요소가 표준 인터페이스를 통해 정적 환경의 동작을 재구성하면서 원래 verifier를 유지한다. 4개 도메인의 5개 benchmark에서 맞춤형 환경에서 추출한 skill은 held-out 성능을 최대 9.0점 높이고 SWE-bench Verified의 평균 실행 단계 수를 9.8% 줄인다. 논문은 4개 지표 중 3개에서 더 강한 RL 결과도 보고한다. 정적 환경에 대해서는 이 글을 참조하라.

1. Introduction

논문은 수작업으로 구축한 환경이 정적이고 구축 비용이 크며, 향상되는 agent의 현재 약점에 대응하지 못한다고 주장한다. 환경 생성 파이프라인은 task 공급을 확장할 수 있지만 도메인 특화적일 수 있고, 생성한 simulator나 verifier의 정확성을 엄격히 필터링해야 한다.

2. EnvHarness

EnvHarness는 simulator 구현을 수정하지 않고 정적 환경 위에 놓이는 wrapper 계층이다. 시작 상태, 상호작용 제약, 관측, 복합 episode를 포함한 인터페이스 수준의 정보 흐름을 바꾸지만, 평가는 기본 task verifier에 계속 의존한다.

도식은 EnvHarness를 환경 측면에서 agent harness에 대응하는 개념으로 제시한다. 고정된 LLM은 agent harness를 통해 skill, memory, tool을 얻는 반면, 정적 환경은 원래 환경을 수정하지 않고 Stage, Contract, Chain 구성 요소를 얻는다.

2.1. The EnvHarness Paradigm

환경은 (E = (S, A, O, T, R, s_0))로 형식화하며, 환경 비종속 wrapper w는 이를 (E’ = w(E))로 변환한다. wrapper는 노출된 초기 상태, action 및 observation space, transition mechanism을 외부에서 바꿀 수 있으며, 원래 verifier는 episode를 채점하는 데 계속 사용할 수 있다.

표는 제안의 구조적 유비를 설명한다. 고정된 LLM과 정적 환경, 추가된 agent capability와 환경 맞춤화, 자율 agent와 맞춤형 환경을 대응시킨다. 핵심 시스템을 바꾸는 대신 외부 계층을 추가한다는 점을 강조한다.

2.2. Three EnvHarness Components

Stage는 reset 후 유효한 환경 action의 순서를 재생해 agent를 도달 가능한 변경 초기 상태에 둔다. Contract는 fA, fT, fO를 통해 action, transition, observation을 변환하고, Chain은 환경을 더 긴 episode로 조합한다. 구성 요소는 순서에 의존하므로 교환법칙이 성립하지 않으며, 보고한 실험에서는 Chain을 직렬 조합으로 사용한다.

그림은 각 wrapper가 영향을 주는 인터페이스 method를 나타낸다. Stage는 reset 시점 초기화를 바꾸고, Contract는 step 시점의 action, transition, observation 처리를 매개하며, Chain은 환경 간 transition 흐름을 재지정한다. 기본 환경과 verifier는 모든 wrapper 아래에서 고정된 채 유지된다.

3. EnvHarness for Agent Learning

Agent learning에서 목표는 특정 task의 특정 policy에서 관찰한 행동을 겨냥한 수정 환경을 만드는 일이다. 구성 요소는 policy와 무관한 소프트웨어 객체이지만, 구성 요소의 선택과 parameter는 대상 policy의 rollout 증거에 따라 결정한다.

3.1. Problem Setup

Task-policy-conditioned map H(E, t; π)는 policy를 black box로 취급하면서 구성 요소의 순서를 적용해 policy의 핵심 약점을 드러낸다. Stage mutation을 검증하려면 초기화 상태를 새 rollout에서 재현할 수 있어야 하므로 deterministic reset을 가정한다.

3.2. EnvRigger

EnvRigger는 Observe–Diagnose–Write–Validate loop로 H를 구현한다. 성공 및 실패 trajectory를 수집하고 체계적 약점을 진단하며, 후보 Stage 및/또는 Contract 구성 요소를 생성한다. 이어서 새 rollout의 성공률, 실패 분포, timeout을 바탕으로 후보를 수용, 거부, 수정한다. appendix는 K = 5 baseline rollout, K = 5 validation rollout, 최대 5회 수정 round를 명시한다.

그림은 policy 실행과 designer loop를 분리한다. 수용된 wrapper는 기본 환경을 계속 둘러싸며, rollout trajectory는 Observe와 Diagnose에 입력된다. 후보 구성 요소는 Write와 Validate를 거친 뒤 수용, 수정, 거부된다.

4. Experiments

실험은 주로 skill 기반 학습을 검증하고 online reinforcement learning은 별도로 분석한다. 핵심 비교는 추출한 skill의 출처를 분리한다. 출처는 원래 task, EnvHarness로 맞춤화한 task, 적용 가능한 도메인 특화 환경 생성 시스템이다.

4.1. Experimental Setup

평가는 ALFWorld, WebArena, SWE-bench Verified, OfficeQA, SpreadsheetBench를 다루며, 학습 episode와 held-out 평가 episode를 분리한다. 각 benchmark에서 EnvRigger와 대상 policy는 같은 backbone을 사용한다. ALFWorld와 WebArena에서는 Gemini-3.1-Flash-Lite를, 나머지에서는 Gemini-3.5-Flash를 사용하며, ReasoningBank 방식으로 skill을 추출한다. Chain은 자동화된 EnvRigger에서 제외하고 별도로 평가한다.

4.2. Main Results

EnvHarness skill은 보고한 모든 benchmark에서 원래 환경 skill보다 우수하다. ALFWorld 평균은 62.4에서 68.3으로, WebArena는 38.5에서 41.6으로, SWE-bench Verified 성공률은 49.88에서 52.58로 상승한다. OfficeQA의 EM/F1은 54.40/55.77에서 56.20/57.73으로, SpreadsheetBench의 Pass@1/Mean Score는 45.88/61.47에서 49.15/62.48로 상승한다. SWE-bench Verified에서는 평균 단계 수가 55.01에서 49.61로 감소한다. 특화 generator를 적용할 수 있는 경우에도 이득을 보고하며, SWE-smith보다 성공률이 2.46점 높다.

왼쪽 막대는 3개 benchmark에서 base agent, 원래 환경에서 얻은 skill을 사용한 agent, EnvHarness 환경에서 얻은 skill을 사용한 agent를 비교하며, 표시된 모든 비교에서 EnvHarness 조건이 가장 높다. 오른쪽 그래프는 맞춤형 환경 수가 늘어날수록 SWE-bench Verified resolved rate가 계속 상승하는 반면, 원래 환경과 생성 환경 곡선은 평탄해짐을 보인다.

ALFWorld에서 EnvHarness는 Original Envs의 62.4 및 GenEnv의 62.6과 비교해 68.3 평균을 기록한다. OOD 점수는 70.4로 Original Envs보다 9.0-point 높다. WebArena에서는 41.6 평균으로 Original Envs의 38.5와 VeriEnv의 39.6을 웃돈다.

표는 EnvHarness가 SWE-bench Verified, OfficeQA, SpreadsheetBench에서 표시된 결과 중 가장 우수한 성능을 보고함을 보여 준다. SWE-bench Verified에서는 52.58 성공률과 49.61 평균 단계를 기록하며, Original Envs의 49.88 성공률 및 55.01 단계와 비교된다.

5. Analysis

GRPO로 학습한 Qwen3-8B-base에서 EnvHarness는 ALFWorld in-distribution 성공률을 81.4에서 87.9로, WebShop score/success rate를 75.6/66.0에서 79.2/67.4로 높인다. 그러나 ALFWorld OOD 성공률은 89.6에서 88.8로 감소한다. Chain-only skill은 SWE-bench 평균 단계 수를 41.96으로 낮추지만 성공률은 49.63이다. Chain과 Stage/Contract skill을 결합하면 성공률은 54.30, 평균 단계 수는 43.12가 된다. 같은 환경 예산에서 EnvHarness는 300개 환경으로 54.79 resolved rate에 도달하며, 원래 환경은 52.13, 생성 환경은 50.37이다.

맞춤형 환경에서 학습하면 ALFWorld in-distribution 성공률이 81.4에서 87.9로, WebShop score/success rate가 75.6/66.0에서 79.2/67.4로 개선된다. 예외는 ALFWorld OOD 성공률로, 89.6에서 88.8로 0.8-point 감소한다.

Chain-only skill은 skill이 없을 때의 53.58에서 평균 단계를 41.96으로 줄여 효율을 우선하지만, 성공률 49.63은 Original Envs의 49.88보다 약간 낮다. Chain과 Stage/Contract skill을 결합하면 성공률은 54.30, 평균 단계 수는 43.12가 된다.

6. Related Work

관련 연구에는 simulator 기반 및 합성 환경 확장, benchmark instance 생성, curriculum, reward shaping, self-evolving agent가 포함된다. 논문이 주장하는 차별점은 확립된 환경의 task logic과 verifier를 유지하면서 policy 조건부로 인터페이스 수준을 재구성한다는 점이다.

6.1. Environment Scaling

Benchmark 특화 생성 또는 simulator 구성 방식과 달리, EnvHarness는 공통 인터페이스와 runtime별 Bridge를 사용한다. 따라서 task source마다 새 환경 구현과 평가 체계를 요구하지 않고 기존 verifier를 재사용한다.

6.2. Self-Evolving Agent

환경이 고정된 상태에서 prompt, skill, memory, workflow, weight, agent harness를 갱신하는 self-evolving-agent 방법과 달리, EnvHarness는 고정된 policy 주변의 학습 조건을 바꾼다. 적응 loop는 이전 rollout이 드러낸 capability boundary에 맞춰 이후 환경을 겨냥한다.

7. Conclusion

결론은 EnvHarness를 Stage, Contract, Chain에 기반한 제어 가능한 wrapping layer로 제시하고, trajectory 조건부 자동 맞춤화를 위한 EnvRigger를 소개한다. 이 방법은 환경 engineering을 없애지 않는다. 각 runtime에는 여전히 Bridge가 필요하며, 반복 설계 loop에는 rollout 및 inference 비용이 든다.

부록

• Appendix는 EnvRigger prompt, 관련 환경 설계 framework와의 비교, ActionableEnv protocol, Bridge, decorator 방식의 구성 요소 stack, Chain 구현 패턴을 상세히 설명한다. Benchmark split, baseline, RL 설정, cross-model 분석도 명시한다. 한계로는 반복 설계 비용, reset 가능한 Gym 스타일 텍스트 인터페이스 의존성, 그리고 더 풍부한 조합에는 복합 semantic verifier가 없어서 Chain을 순차 조합으로만 평가했다는 점을 든다.

짧은 생각

통제된 비교에서는 policy model, seed task, 환경 수, skill 추출 protocol을 공유하며, 주요 skill-learning 결과는 5개 benchmark에서 일관된다. 중요한 한계는 5회 rollout에 기반한 작은 수용 추정치, benchmark별 Bridge와 prompt 제약, 우회 행동을 유발할 수 있는 인터페이스 제한이다. 이 방법은 되돌릴 수 없는 live service나 물리 환경에서는 확립되지 않았다.