Progress Reward Modeling for Robotic Learning: A Comprehensive Survey 요약 설명

Contents

요약
1 Introduction
2 Interface: Input and Output of Progress Models
3 Methods: How Are Progress Rewards Constructed?
4 Data and Benchmarks
5 Limitations and Future Directions
부록
짧은 생각

이번 글에서는 Progress Reward Modeling for Robotic Learning: A Comprehensive Survey 논문의 핵심 포인트만 간단히 정리한다.

2026년 7월 22일(Arxiv)
Zhang, Jianshu, Wu, Keliang, Lu, Haoran, Liu, Anbang, Zhang, Ce, Yin, Weijie, Qian, Chengxuan, Yang, Xiyuan, Pan, Zhenyu, Ye, Guo, et al.
Northwestern University, Carnegie Mellon University, University of Wisconsin–Madison, University of California, Santa Barbara, University of Illinois Urbana-Champaign
논문 링크

요약

이 설문은 로봇 학습을 위한 progress reward modeling을 체계화한다. Dense feedback은 실행이 과업 목표를 향해 진전하는지, 정체하는지, 후퇴하는지를 추정한다. 논문은 progress를 잠재적이고 과업 조건부이며 이력에 의존하는 상태로 규정하고, 모델 인터페이스, reward 구성, 데이터 구성, 평가를 연결한다. 서로 다른 출력과 benchmark는 서로 다른 성질을 검증하므로 동등한 근거로 비교해서는 안 된다는 점이 핵심 주장이다.

1 Introduction

종료 success signal은 장기 지평과 고차원성을 지닌 로봇 과업에서 중간 지침을 거의 제공하지 못한다. Progress reward는 credit assignment를 개선하고 모니터링, reranking, filtering, planning, action selection, failure recovery를 지원할 수 있다. 다만 이전 subgoal이 완료되었거나 되돌려졌을 수 있으므로 현재 관측만으로는 충분하지 않을 수 있다.

2 Interface: Input and Output of Progress Models

이 설문은 progress model을 현재 상태 표현, 과업 목표 명세, 출력 형식으로 규정되는 과업 조건부 black box로 다룬다. 이 인터페이스 기반 분류법은 이용 가능한 증거와 생성 signal의 의미를 분리한다. 따라서 아키텍처가 다른 시스템도 비교할 수 있다.

현재 과업 상태 표현, 과업 목표 명세, 모델 출력 형식으로 구성한 progress model 인터페이스

2.1 Input Interface: How Is the Current Task State Represented?

현재 과업 상태는 단일 관측, 시간 문맥, 관계적 비교, 또는 API, log, proprioception 같은 상태 접근 인터페이스로 표현할 수 있다. 단일 관측은 online 사용에 효율적이지만 이력 모호성이 있다. 더 긴 문맥은 더 강한 시간적 증거를 제공하지만 online 사용을 제한할 수 있다. 국소 비교와 상태 접근 가정에도 장기 지평 및 배포 측면의 제약이 각각 있다.

2.2 Input Interface: How Is the Task Goal Specified?

과업 목표는 language-conditioned, vision-conditioned, structured and programmatic 방식으로 지정할 수 있다. Language는 편리하지만 물리적 세부 사항을 충분히 명시하지 못할 수 있다. Goal image와 demonstration은 더 풍부한 물리적 grounding을 제공하지만 시각적 변화와 embodiment 차이에 민감할 수 있다. Predicate, code, API는 관련 상태 변수에 접근할 수 있을 때 정밀한 구성을 가능하게 한다.

2.3 Output Interface: What Does the Model Predict?

Progress model은 상태별 scalar score, transition 수준의 progress delta, ranking, 실행 가능한 reward function을 출력할 수 있다. Scalar는 폭넓게 재사용할 수 있지만 명확한 calibration이 필요하다. Delta는 국소 변화를 포착하지만 보통 시간에 따라 누적해야 한다. Ranking은 절대값이 아니라 상대값이며, program output은 논리와 상태 feature가 의도한 목표를 표현하는지에 달려 있다.

3 Methods: How Are Progress Rewards Constructed?

방법 분류는 사용할 수 있는 progress reward를 얻는 4가지 방식을 제시한다. 즉 frozen foundation-model scoring, 시간적 또는 상대적 supervision으로부터의 학습, instruction-tuned progress prediction, programmatic reward construction이다. 각 패러다임은 signal source가 다르고 semantic prior, label, 시간 구조, 상태 관측 가능성에 관한 가정도 다르다.

Frozen foundation model, 시간적 또는 상대적 supervision, instruction-tuned progress model, programmatic reward construction을 통한 progress reward 구성

3.1 Frozen Foundation Models as Semantic Reward Scorers

Frozen CLIP-style 및 vision-language-model 방법은 과업별 reward-model 학습 없이 image-text alignment, task-completion token probability, video temporal judgment로부터 reward와 유사한 signal을 얻는다. Zero-shot 유용성에는 calibration 비용이 따른다. 출력은 calibrated progress reward보다 semantic prior로 보는 편이 적절하므로 normalization, thresholding, differencing, prompt engineering이 필요할 수 있다. CLIP-style에 대해서는 이 글을 참조하라.

3.2 Learning Rewards from Temporal and Relative Supervision

시간적 supervision은 성공 demonstration에서 더 나중의 상태가 completion에 더 가깝다고 가정하는 경우가 많다. 이는 goal-proximity, visual-distance, subtask, reward-sketch 접근을 지원할 수 있다. Preference와 ranking supervision은 상태, clip, trajectory를 비교하며 절대 score보다 수집하기 쉬운 경우가 많다. 다만 학습된 비교 결과는 여전히 reward function으로 변환해야 하며, 하나의 일관된 scalar ordering으로 표현되지 않을 수 있다.

3.3 Instruction-Tuned Progress Prediction

Instruction-tuned progress model은 VLM 또는 video-language model이 절대 progress, success, 상대적 개선, preference, reasoning-grounded score에 관한 명시적 과업별 질문에 답하도록 학습한다. 예로 rubric 기반 structured scoring, progress-success-preference 공동 예측, before-after judgment, 생성된 progress reasoning이 있다. 이 방법의 핵심은 progress estimation을 위한 명시적 instruction-following supervision이다.

3.4 Programmatic Reward Construction

Programmatic 방법은 과업 설명 또는 visual reasoning으로부터 생성한 실행 가능한 code, predicate, feature function, structured reward logic으로 reward를 표현한다. 이 방법은 과업이 명시적 subgoal, 기하학적 관계, API로 노출된 상태로 분해될 때 유용하다. 그러나 symbolic variable 또는 이용 가능한 feature가 과업의 중요한 측면을 빠뜨리면 생성된 reward도 의도한 행동과 정렬되지 않을 수 있다.

4 Data and Benchmarks

이 설문은 progress-data 구성을 human-driven, human-in-the-loop, fully automated pipeline으로 분류한다. 이어서 fidelity, robustness and generalization, downstream utility 평가를 구분한다. 인간의 참여는 더 강한 semantic grounding을 제공하는 반면 자동화는 규모를 제공하지만 가정과 체계적 오류를 유입할 수 있다.

Progress fidelity, robustness and generalization, downstream utility를 위한 데이터 구성 방식과 benchmark 범주

4.1 Data: How Is Progress Supervision Constructed?

Human-driven 데이터에는 teleoperation, task video, scalar score, success cutoff, keyframe, reward sketch, behavioral comparison이 포함된다. 이들은 시간 또는 상태 변수만으로는 얻기 어려운 의미를 포착한다. Human-in-the-loop 접근은 sparse anchor, verification, active query, 설계된 prompt와 API를 사용한다. Automated 방법은 시간 순서, simulator state, foundation-model annotation, trajectory augmentation을 사용하며, 각 출처는 고유한 bias 또는 artifact를 만들 수 있다.

4.2 Benchmarking Progress Fidelity

Progress fidelity는 scalar calibration, 시간적 일관성, 상대적 순서, 과업 grounding, answerability 또는 uncertainty를 분리해서 평가해야 한다. Counterfactual instruction과 불일치하는 video-language pair는 일반적인 움직임이나 경과 시간 단서가 아니라 goal conditioning을 검증한다. Selective prediction, abstention, confidence calibration은 occlusion, 누락된 이력, 부족한 viewpoint, 불충분하게 명세된 목표가 만드는 모호성을 다룬다.

4.3 Benchmarking Robustness and Generalization

Robustness and generalization 평가는 보지 못한 과업, instruction, object, viewpoint와 scene 변화, cross-embodiment transfer를 포함해야 한다. 이 설문은 failure, regression, retrying, plateau, recovery, 비정상적인 subtask 순서를 포함하는 non-monotonic execution이 특히 중요하다고 지적한다. 성공적인 monotonic demonstration만으로는 모델이 progress와 경과 시간을 구분하는지 확인할 수 없기 때문이다.

4.4 Benchmarking Downstream Utility

Downstream utility에는 online policy learning, offline reward relabeling, retrieval, filtering, reranking, planning, action selection이 포함된다. 더 높은 policy success만으로는 progress fidelity를 입증할 수 없다. 이는 exploration, architecture, reset design, environment dynamics에도 좌우되기 때문이다. 반대로 calibrated estimator는 제어에 사용하기에 너무 sparse, noisy, brittle, expensive하거나 국소적으로 정보량이 부족할 수 있다.

5 Limitations and Future Directions

이 설문은 4가지 실용적 한계를 제시한다. 즉 거친 공간 및 시간 민감도, 고정된 시간 비율 가정, multi-frame VLM inference의 latency, 부족한 장기 지평 memory다. 이를 위해 더 정밀한 multimodal physical sensing, plateau와 regression을 시간적으로 적응해 표현하는 방식, cached task representation 또는 hierarchical querying을 갖춘 streaming encoder, 완료·대기·무효화된 subgoal의 compact memory를 제안한다.

부록

PDF에는 appendix section이 없다. Section 5 뒤에는 곧바로 References가 이어진다. 논문은 관련 resource repository로 https://github.com/sterzhang/Awesome-Progress-Models를 제공한다.

짧은 생각

이 설문의 핵심 방법론적 구분은 reward를 구성하는 일, 그 reward가 progress를 충실히 표현함을 보이는 일, downstream decision-making system을 개선함을 보이는 일 사이에 있다. 이 프레임워크는 dense-reward 주장이 상태 이력 및 목표 인터페이스, 출력 의미, supervision source, calibration evidence, non-monotonic behavior에 대한 robustness, 제어 시점 비용을 보고해야 함을 시사한다.