RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs 요약 설명

Contents

• 요약
• The RelateAnything model
  • Architecture
  • Training with 10^4 predicates
• RA-4M: a verified free-text relation corpus
• OV-SGG-Bench: analysis of scene-graph evaluation and a cross-dataset protocol
  • The six axes
• Results
• Analysis: decoupling object and relation prediction
• Analysis: in-domain versus cross-dataset measurement
• Discussion and limitations
• 부록
• 짧은 생각

이번 글에서는 RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs 논문의 핵심 포인트만 간단히 정리한다.

• 2026년 9월 11일(Arxiv)
• Neau, Maëlic.
• Independent Researcher
• 논문 링크
• Github

영문판 보기

요약

• RelateAnything는 객체 레이블을 네트워크 입력으로 사용하지 않고, 임의로 제공된 영역과 추론 시점에 입력한 predicate 문자열의 관계를 예측한다. 논문은 53M-parameter 모델, RA-4M 자유 텍스트 관계 코퍼스, OV-SGG-Bench를 제안한다. 컴파일된 배포 경로는 A40에서 프레임당 20 ms이며, eager end-to-end 비교는 25.0 ms로 보고한다.

이 개요도는 코퍼스, 레이블 없는 모델 인터페이스, 6축 protocol을 연결한다. RelateAnything의 OVS composite는 40.1, OvSGTR의 값은 11.8로 제시한다. A1에서는 더 강한 이용 가능 baseline을 사용한다는 점도 명확히 보여준다.

The RelateAnything model

이미지와 임의의 box 또는 mask가 주어지면 모델은 추론 시점에 제공한 predicate 문자열에 대해 순서가 있는 영역 쌍의 점수를 계산한다. 19,103-string bank는 RA-4M의 10,102 predicate와 다른 코퍼스의 9,001 string을 결합한다. 학습에서는 누락된 주석을 자동으로 음성으로 보지 않고 positive-unlabeled로 처리한다.

Architecture

fine-tuned DINOv3 시각 경로는 subject, object, union, contact 영역의 문맥 특징을 풀링하고 19 geometry feature를 추가한다. 이후 Relation Transformer와 deformable scene read가 샘플링한 쌍을 정제한다. cosine 점수화 branch 2개는 각 predicate text embedding에서 계산한 gate로 혼합하므로, 재학습 없이 embedding bank를 새 predicate 문자열로 교체할 수 있다.

도식은 외부에서 제공된 영역이 DINOv3-based pair model로 들어가고 detector label은 버려짐을 보여준다. 또한 offline predicate embedding, predicate-conditioned mixing gate, pair sampling, synonym-aware discounted-negative 학습을 나타낸다.

Training with 10^4 predicates

batch-local InfoNCE loss는 synonym group을 양성으로 취급하고, 코퍼스 공동 주석으로 p가 주어졌을 때 q가 참일 가능성을 추정해 음성 predicate q의 가중치를 낮춘다. 방향이 반대인 inverse는 완전한 음성 가중치를 유지한다. distilled 512-dimensional text encoder는 synonym 구조를 유지하면서 inverse predicate를 분리한다. 평균 inverse cosine은 0.92에서 0.09로 감소하고 synonym cosine은 0.71이며, synonym-versus-inverse AUC는 0.854에서 0.989로 상승한다.

teacher text space에서는 inverse spatial predicate가 서로 가깝게 놓이지만, distilled student는 synonym group을 유지하면서 inverse cluster를 분리한다. 이 그림은 cosine 기반 relation scoring에 쓰이는 text target을 수정해야 하는 동기를 뒷받침한다.

RA-4M: a verified free-text relation corpus

RA-4M은 474,413 images, 4,282,531 relations, 10,102개의 고유한 자유 텍스트 predicate로 구성된다. 26B open-weight VLM은 번호가 매겨진 box marker를 사용해 semantic, grow, spatial relation을 생성한다. 결정론적 geometry check는 원시 후보의 11.3%를 제거하고, 호환되는 방향 역할 오류를 수정하며, geometry로 제약할 수 없는 오류는 명시된 잔여 위험으로 남긴다. 논문은 사람 검수 기반 코퍼스 precision 추정치를 보고하지 않는다. spatial relation에 대해서는 이 글을 참조하라.

OV-SGG-Bench: analysis of scene-graph evaluation and a cross-dataset protocol

OV-SGG-Bench는 표준 scene-graph recall이 코퍼스 중복, 객체 범주 빈도 prior, 주석 성향, 중복 인정 matcher, detector operating point에 의해 교란된다고 지적한다. OVS composite는 chance-corrected A1, A2, A4, A5, A6 점수의 조화 평균이다. A3는 matcher 선택에 따라 비교 결과가 크게 달라질 수 있으므로 별도로 보고한다. scene-graph에 대해서는 이 글을 참조하라.

고정된 detector weight에서 confidence threshold와 box cap을 바꾸면 pair-recall ceiling이 크게 달라진다. 따라서 detection-mode relation 결과와 함께 detector operating point 및 ceiling을 보고해야 함을 보여준다.

The six axes

6개 축은 각각 cross-dataset transfer, 판정된 음성에 대한 precision, 전체 vocabulary 예측, shared-detector 배포, judge가 수용한 graph information, 적대적으로 구성한 spatial relation을 측정한다. A2와 A6는 각각 annotation-propensity와 category-prior 지름길에 저항하도록 설계했다. A4는 detector pair recall에 의해 명시적으로 제한된다.

Results

RelateAnything는 VG150에서 A1 F1@50 (mR@50) 36.9 (28.2), PSG에서 34.7 (30.6), IndoorVG에서 37.8 (29.5), zero-shot HICO-DET에서 18.7 (12.7)을 보고한다. Haystack에서는 평균 fAP 72.6, shared YOLO-World box를 사용한 PSG detection-mode에서는 wR@50 20.0, 일치한 graph depth에서는 이미지당 accepted-information 18.6 bits, SpatialSense에서는 macro AUC 69.0을 보고한다. 다만 SpatialSense의 boxes-only baseline이 68.8에 도달하므로, 마지막 수치만으로 시각적 spatial reasoning을 입증할 수는 없다.

이 표는 6개 축의 결과를 모아 RelateAnything와 각 축에서 이용 가능한 가장 강한 baseline을 비교한다. baseline 열은 A1과 A3에서 여러 시스템의 envelope이며, 40.1 OVS composite는 OvSGTR에 대해 계산한 값이다.

이 표는 explicit-negative precision, full-vocabulary retrieval, shared-detector 배포를 분리해 제시한다. sampler는 labelled Haystack cell의 89.0%를 다루고 OvSGTR은 100.0%를 다루지만, RelateAnything는 더 높은 fAP와 P-AUC를 기록한다.

Analysis: decoupling object and relation prediction

label-pair lookup은 OvSGTR 예측의 88–90%를 재현하지만, 객체 레이블을 전혀 입력받지 않는 RelateAnything 예측은 69–70%만 재현한다. lesion과 분산 분석은 semantic-logit 분산의 87–93%를 pair context에, 약 0.1%와 0.0%를 subject와 object identity feature에 귀속한다. 이 recipe에서는 relation fine-tuning이 class selectivity는 강화하지만 강한 relational dense feature를 만들지는 않는다.

fine-tuning은 hand-object interaction 주변의 patch similarity를 hand와 bird 쪽으로 이동시킨다. 그러나 관련 retrieval probe는 이 feature가 verb보다 다루는 객체를 더 안정적으로 식별함을 보여주므로, decoupling 결론은 시험한 recipe에 한정된다.

Analysis: in-domain versus cross-dataset measurement

코퍼스를 2배로 늘리면 in-domain R@50과 mR@50은 15%와 56% 향상되지만, zero-shot transfer에서는 각각 2.5–3.8%와 9.9–11.9%만 향상된다. 저자들은 in-domain slope가 transfer를 약 5× 과대평가한다고 추정한다. 시험한 설정에서 sparse Open Images V6 relation source를 추가하면 모든 측정 축에서 성능이 하락했다. 이는 목적함수에서 주석되지 않은 참 관계가 해로운 false negative가 되는 현상과 일치한다.

이 그림은 full corpus와 half corpus를 비교할 때 gradient step을 통제하고, 큰 in-domain 개선과 훨씬 작은 zero-shot gain을 대조한다. 이는 in-domain과 transfer scaling slope 사이의 약 5× 차이를 뒷받침한다.

Discussion and limitations

보고한 속도 비교는 구성에 의존한다. eager RelateAnything와 YOLO-World는 A40에서 25.0 ms가 걸리고 OvSGTR Swin-T는 194.0 ms가 걸리지만, box budget, resize, precision, pair scoring이 서로 다르다. 한계로는 대부분의 transfer test에서 hold-out되지 않은 benchmark predicate string, 여러 single-seed 결론, RA-4M precision의 사람 검수 부재, 불완전한 A5 judge control, 배포의 주된 병목인 detector pair recall이 있다.

latency 비교는 RelateAnything와 YOLO-World의 eager A40 end-to-end latency가 더 낮음을 보고하지만, box count, resize, numerical precision, pair scoring에 통제되지 않은 차이가 있음을 함께 기록한다. 따라서 architecture만의 속도 주장보다는 배포 구성의 효율성 비교를 뒷받침한다.

부록

• 부록은 architecture와 training detail, geometric verification, text-space objective, evaluation과 calibration protocol, representation probe, scaling, ablation, generation prompt, latency measurement를 제시한다. ViT-B/16은 parameter가 114% 더 많지만 released-family OVS-F1을 −0.1% 변화시키므로 ViT-S/16+를 선택했다. 전체 19,103-string vocabulary 점수화는 batch 1에서 A40 프레임당 0.7–0.8 ms를 추가한다고 보고한다.

짧은 생각

논문의 핵심 기여는 관계 예측을 코퍼스 중복, label prior, sparse annotation, 명시하지 않은 detector 선택과 독립적으로 평가해야 한다는 통합된 논증이다. protocol 분석과 ablation은 광범위하다. 다만 코퍼스 precision과 visual spatial understanding에 관한 결론은 향후 사람 검수와 더 폭넓은 held-out-concept 평가가 필요하다는 조건 아래 제시한다.