StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents 요약 설명

목차

• 요약
• 3 THE STATE-GROUNDING PRINCIPLE
• 4 STATEACT
• 5 EXPERIMENTS
• 6 DISCUSSION
• 짧은 생각

이번 글에서는 StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents 논문의 핵심 포인트만 간단히 정리한다.

• 2026년 7월 24일(Arxiv), arXiv
• Yang, Yan, Jian, Xiangru, Luo, Ziyang, Zhao, Zirui, Dai, Yutong, Shi, Ziji, Yan, Hanshu, Liew, Jun Hao, Savarese, Silvio, Li, Junnan.
• Salesforce AI Research
• 논문 링크

요약

• StateAct는 장기 지평 컴퓨터 사용 에이전트가 스크린샷 픽셀보다 파일, 애플리케이션 백엔드, DOM, 데이터베이스 등 실제 프로그램 상태를 우선 관찰하고 수정하도록 설계한 멀티에이전트 하니스이다. 논문은 화면 렌더링이 내부 상태를 완전하게 보존하지 않으므로, 수백 단계에 이르는 작업에서는 작은 화면 해석 오류가 누적될 수 있다는 문제를 제기한다.
  • 주 에이전트는 지속형 bash, Python, 파일 편집기를 통해 상태를 직접 다루며, 시각적 상호작용이 불가피한 경우에만 GUI 전문 하위 에이전트에 위임한다.
  • 종료 시에는 주 에이전트의 작업 서술을 보지 않는 독립 finish gate가 저장된 산출물의 구조적 완결성을 검사한다. 컨텍스트 압축, 외부 체크리스트, 새 컨텍스트의 전문 에이전트 위임으로 장기 실행을 유지한다.
  • OSWorld 2.0의 108개 작업에서 Claude Opus 4.8 기반 StateAct는 이진 성공률 26.9%, 평균 부분 점수 61.6%를 기록했다. 동일 백본의 참조 컴퓨터 사용 하니스는 각각 20.6%, 54.8%였으며, 작업당 비용은 약 72달러에서 약 7.8달러로 감소했다.
  • 저자들은 상태 기반 행동이 핵심 기여 요인이라고 분석한다. 다만 상태를 독립적으로 다시 읽는 검증만으로는 원천 정보의 해석이나 값 추론이 잘못된 경우를 판정하기 어려우며, 이후 주된 병목은 지각보다 추론 정확성이라고 결론짓는다.

장기 지평 컴퓨터 사용 벤치마크의 이진 성공률과 작업당 비용 비교

3 THE STATE-GROUNDING PRINCIPLE

• 상태 그라운딩 원칙은 에이전트가 컴퓨터의 프로그램 상태 s를 픽셀 채널 또는 상태 채널을 통해 관찰한다는 구분에서 출발한다. 픽셀 관찰은 렌더링 함수 f_render(s)의 결과이고, 상태 관찰은 셸 명령, 워크북 읽기, DOM 직렬화와 같은 질의 함수 g(s)의 결과이다.
  • 렌더링은 비단사적이므로 서로 다른 내부 상태가 같거나 거의 같은 화면으로 나타날 수 있다. 예를 들어 화면에 표시된 스프레드시트 합계만으로는 해당 셀이 수식인지 리터럴 값인지, 관련 행이 숨겨졌는지 알 수 없다.
  • 작업이 접하는 하위 상태에 대해서는 상태 채널이 사실상 정확한 읽기·쓰기를 제공할 수 있다. 따라서 저장 파일의 수식, 백엔드 설정, 화면 밖 데이터처럼 산출물에 직접 영향을 주는 내용을 코드로 확인하고 수정할 수 있다.
  • 이 원칙은 상태 주소 지정이 가능한 작업과, 일부 시각적 하위 목표를 포함하는 혼합 작업에서 유리하다고 예측한다. 반대로 이미지 편집, 레이아웃, 차트 외관처럼 렌더링 결과 자체가 목표인 작업에서는 상태 채널이 본질적 이점을 제공하지 않는다.

픽셀 경로와 프로그램 상태 경로의 스프레드시트 하위 목표 처리 비교

4 STATEACT

• StateAct는 상태 기반 행동, 상태 기반 검증, 장기 실행 유지의 세 구성 요소로 이루어진다. 주 에이전트에는 실시간 마우스·키보드 제어를 제공하지 않고, 코드와 구조화된 도구를 통해 실제 산출물 상태를 조작하게 한다.
  • 상태 발견 단계에서 에이전트는 일반 애플리케이션의 저장 구조에 관한 사전지식과 find, ls, grep, sqlite3 등의 능동 탐색을 함께 사용해 파일·메일 저장소·브라우저 프로필·애플리케이션 데이터베이스의 위치를 찾는다. 이 탐색은 목표값을 알아내기보다 상태가 저장된 위치를 찾는 과정이다.
  • 파일이나 백엔드, DOM으로 접근할 수 없거나 캔버스 드래그·비스크립트형 모달 해제처럼 렌더링 상호작용으로만 표현되는 하위 목표는 GUI 전문 에이전트에 위임한다. GUI 전문 에이전트는 108개 작업 중 28개에서 사용되었고, 주 에이전트 단계의 1.1%에 해당했다. 브라우저 작업은 DOM을 읽고 CSS 선택자로 조작하는 웹 전문 에이전트가 맡는다.
  • finish gate는 최소 세 번의 비종료 단계를 거친 뒤 실행되며, 과업 지시문과 읽기 전용 시스템 접근만 제공받는다. 주 에이전트의 대화 이력, 계획, 완료 주장, 기대값을 보지 않고 실제 저장 산출물을 찾아 누락 파일, 잘못된 경로, 형식 불일치, 저장 실패를 검사한다. 거부 시 주 에이전트는 최대 세 차례 수정·재검증할 수 있다.
  • 새 컨텍스트의 하위 에이전트는 탐색적 또는 이미지 중심 작업을 주 문맥에서 분리한다. 문맥 한계에 가까워지면 오래된 대화 앞부분을 요약하고 이미지를 제거하며, 외부 파일의 체크리스트를 매 단계 다시 주입해 과업 사실과 계획을 보존한다.

상태 우선 행동·독립 종료 검증·전문 에이전트 위임으로 구성된 StateAct 구조

저장된 캘린더 상태를 검사하고 수정을 요청하는 독립 종료 게이트 흐름

상태 우선 처리·GUI 위임·종료 게이트 재시도를 보여 주는 성공 궤적

5 EXPERIMENTS

• 실험은 장기 지평 GUI 벤치마크 OSWorld 2.0의 108개 작업에서 Claude Opus 4.8과 200턴 주 에이전트 예산을 사용해 수행했다. 평가는 이진 성공률, 평균 부분 점수, 작업당 비용으로 측정했다.
  • StateAct는 동일 Opus 4.8 참조 하니스보다 이진 성공률을 6.3%포인트, 평균 부분 점수를 6.8%포인트 높였다. 출력 토큰은 224K에서 100K로 줄었고, 작업당 비용은 약 9분의 1 수준으로 감소했다.
  • 구성 요소 제거 실험에서 상태 기반 행동을 제거하면 평균 부분 점수가 61.6%에서 51.3%로 가장 크게 하락했다. finish gate 제거 시에는 57.5%, 컨텍스트 관리 제거 시에는 58.7%였다. 따라서 저자들은 성능 향상의 가장 큰 단일 요인을 상태 기반 행동으로 해석한다.
  • 코드만 사용하는 bash-only 구성은 평균 부분 점수 45.9%로 참조 하니스의 54.8%보다 낮았다. 이는 코드 접근만으로는 충분하지 않고 GUI 보완, 검증, 장기 문맥 관리가 함께 필요함을 보여 준다.
  • 짧은 지평인 OSWorld-Verified에서는 StateAct와 참조 하니스의 이진 성공률이 각각 78.4%, 77.3%로 유사했다. Sonnet 4.6에서도 StateAct는 이진 성공률을 8.3%에서 11.1%로 높였다.
  • 평면적 위임은 평균 부분 점수 61.6%로 작업자 재귀 57.6%, 중첩 자기 재귀 57.9%보다 높았다. 다만 재귀 분기는 108개 작업 중 7개에서만 실행되고 중첩은 한 번도 발생하지 않았으므로, 저자들은 이를 계층 구조 일반에 관한 결론이 아니라 이 설정에서 평면 구성이 적절하다는 근거로 한정한다.

OSWorld 2.0 역량별 이진 성공률과 평균 부분 점수 비교

역량별 작업당 평균 모델 턴 수 비교

OSWorld 2.0의 비용 대비 이진 성공률 및 평균 부분 점수 전선

구성 요소 제거와 위임 깊이에 따른 성능 비교

bash 전용 구성·Sonnet 전이·단기 지평 벤치마크의 추가 비교

6 DISCUSSION

• 실패 분석에서 79개 비완전 작업의 가장 큰 원인은 추론 오류 38개였다. 잘못된 값, 잘못된 선택, 부정확한 기하 처리, 수식·산술 오류, 지시문 오독 등이 포함된다. 검증기가 잘못 통과시킨 경로·내용·형식 관련 오류는 14개였고, 모달리티 병목 또는 모호한 지시문은 22개였다.
  • 상태를 직접 읽고 쓰면 셀 값이나 캘린더 저장소처럼 기계적으로 확인 가능한 상태에서 지각 오류를 줄일 수 있다. 성능 우위도 다중 항목 상태, 교차 소스 추론, 충돌 해소처럼 상태 접근성이 높은 역량에서 특히 크게 관찰되었다.
  • finish gate는 구조적 결함에는 정밀하지만 값 정확성에는 한계가 있다. 비완전 작업 79개 중 76개가 gate에 도달했고, gate는 8개를 올바르게 거부했지만 68개를 통과시켰다. 저자들은 동일한 출처를 동일한 해석으로 다시 유도하면 에이전트와 검증기가 같은 값 오류를 반복하는 공통 모드 실패가 발생한다고 설명한다.
  • GUI 하위 에이전트를 소형 SFR-CUA로 대체한 결과, OSWorld-Verified, WindowsAgentArena, AndroidWorld, MobileWorld의 평균 부분 점수는 큰 차이가 없었다. 그러나 가장 긴 지평의 OSWorld 2.0에서는 SFR-CUA 버전이 43.2%로, Claude Opus 4.8 GUI 전문 에이전트를 사용한 61.6%보다 낮았다. 드문 시각적 하위 목표라도 어려운 장기 데스크톱 작업에서는 강한 GUI 전문성이 여전히 중요할 수 있다.

여섯 시스템의 역량별 평균 부분 점수와 이진 성공률

비완전 작업의 지배적 실패 원인 분해

종료 게이트의 최종 판정과 채점 결과 및 운영 특성

GUI 전문 에이전트 교체에 따른 다섯 벤치마크의 평균 부분 점수

짧은 생각

• 이 논문의 핵심 해석은 컴퓨터 사용 에이전트의 인터페이스를 화면 중심으로 고정할 필요가 없다는 점이다. 산출물이 파일·DB·DOM처럼 기계적으로 주소 지정 가능한 상태에 남는 업무라면, 주 에이전트가 그 상태를 직접 조작하고 화면 조작을 예외 경로로 두는 설계가 효율과 정확성을 함께 개선할 가능성을 보인다.
  • 특히 문서·스프레드시트·캘린더·메일·웹 백엔드처럼 저장 산출물의 구조를 검사할 수 있는 자동화 업무에 적용하기 적합하다. 독립 gate가 실제 저장 위치와 형식을 확인하는 방식은 완료 선언만 신뢰하는 방식보다 견고한 종료 조건을 제공한다.
  • 그러나 논문이 보고한 성능은 OSWorld 2.0과 특정 모델·하니스 조합에서 얻은 결과이다. 렌더링 외관 자체가 정답인 디자인 작업, 오디오·비디오·실시간 상호작용, 모호한 지시문에는 상태 접근이 직접적인 해결책이 아니다.
  • 또한 범용 prompt 수준 finish gate는 저장 여부와 형식 같은 구조적 문제는 잡지만, 과업 의미를 잘못 해석해 만든 값이 맞는지는 보장하지 못한다. 향후에는 독립적인 근거 교차검증, 과업별 오라클, 또는 더 강한 추론 체계가 이 한계를 보완해야 한다.