Gorio Tech Blog search

Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes 요약 설명

05 Aug 2026 | Paper Review Multimodal Learning Pretraining Mixture-of-Experts

목차

이번 글에서는 Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes 논문의 핵심 포인트만 간단히 정리한다.

  • 2026년 8월 5일(Arxiv), arXiv
  • Han, Junlin, Tong, Shengbang, Fan, David, Chen, Minghao, Torr, Philip, Kokkinos, Filippos, Lewis, Mike.
  • FAIR, Meta, Reality Labs, Meta, University of Oxford
  • 논문 링크
  • Project Page

요약

  • 이 논문은 언어, 시각 이해, 시각 생성이 하나의 모델에서 함께 사전학습될 때 지식이 어느 방향으로 이전되는지, 양식 간 협력이 언제 용량 경쟁으로 바뀌는지, 시각을 언제 도입해야 하는지를 실제 웹 규모 자료와 합성 CLEVR 자료로 분석한다. 언어는 시각 이해와 생성에 일관되게 도움을 주고, 시각 이해는 생성에 강한 사전지식으로 작용하지만, 생성의 언어·이해 방향 zero-shot 이전은 제한적이다. 단순 과제에서는 양식 간 시너지가 나타나지만 복잡한 실제 분포에서는 경쟁이 커졌으며, 공유 attention·정규화와 양식별 FFN이 이를 완화했다. 또한 시각을 학습 초기에 함께 넣고 공동 학습해야 늦은 정렬에서 나타나는 시각 경로 저활성화, 즉 vision laziness를 줄일 수 있었다. 저자들은 이 결과를 바탕으로 언어·이해·생성 토큰을 70/25/5로 배합하고, 2T 토큰으로 13.5B MoE 모델을 학습해 검증했다.

Introduction

  • 사전학습된 언어 모델과 시각 인코더를 사후 정렬하는 late-fusion은 풍부한 시각 신호를 기존 언어 표현 공간에 맞추므로 능력의 병목을 만들 수 있다. 시각 이해와 생성을 언어와 처음부터 함께 학습하는 통합 멀티모달 사전학습은 대안이지만, 데이터 비율·파라미터 공유·통합 시점의 설계 원리는 아직 경험칙에 크게 의존한다. 저자들은 실제 데이터 혼합 실험과 개념을 선택적으로 제거할 수 있는 합성 실험을 병행하여 지식 이전, 시너지와 경쟁, 조기 통합, 확장용 학습 배합을 분리해 조사한다.

Experimental Setup

  • 통제 실험의 기본 모델은 Llama-3 계열 decoder-only Transformer에 Transfusion을 결합한 구조다. 텍스트는 이산 다음 토큰 예측으로, 이미지는 연속 flow matching으로 같은 모델에서 학습한다. 16층, 은닉 차원 2,048, GQA query head 32개·key-value head 8개, FFN 확장 배수 1.5인 1.5B 언어 골격에 텍스트·이미지 토큰별 FFN을 더해 총 2.3B 파라미터가 된다. 기본 RAE에서는 동결된 SigLIP-2 ViT-400m/14가 224×224 이미지를 16×16 격자의 의미 토큰 256개로 바꾸며, 이해와 생성이 이 공간을 공용한다. Raw Pixels, 이해용 SigLIP-2와 생성용 SD3 VAE를 분리한 CLIP+VAE, UniTok 이산 코드를 자기회귀적으로 예측하는 AR 구성도 비교했다.

Training protocol

  • 사전학습은 AdamW(β1=0.9, β2=0.95, weight decay 0.1), gradient clipping 1.0, 처음 8,000 step 선형 warm-up과 cosine decay를 사용한다. 텍스트 cross-entropy보다 연속 flow-matching 손실에 3배 가중치를 두고, 시간 t는 logit-normal 분포에서 표본화한다. 확산 구성은 깨끗한 표본 x0를 예측한 뒤 v=(x0−xt)/(1−t)로 바꾸는 x-prediction을 사용하며, 생성 시 classifier-free guidance 5.0의 25-step Euler sampler를 쓴다. 문맥 길이는 4,096 토큰, 정밀도는 bf16, 분산 학습은 FSDP-2이고 예산은 100B~2T 토큰이다. 언어 학습 자료는 DCLM, 시각 자료는 Shutterstock-Image의 약 3억 5천만 이미지-텍스트 쌍이며, 후자는 이미지→텍스트 이해와 텍스트→이미지 조건부 생성에 모두 쓴다. VQA 점수는 사전학습 뒤 Cambrian-7M 전체를 원래 언어 전용·시각-언어 지시문 비율대로 섞어 1 epoch 지도 미세조정해 얻으며, 이 단계는 최고 학습률 1e-5, weight decay 0.1, 전역 배치 128 sequence를 사용한다. 초기화·자료 순서의 seed와 평가 decoding temperature는 각각 0으로 고정했다.

Evaluation protocol

  • 언어 능력은 9개 객관식 추론·상식 과제의 정확도와 NaturalQuestions·TriviaQA의 exact match를 동등 가중 평균한 11개 과제 점수, DCLM 인분포 및 C4 분포외 validation perplexity로 평가한다. 시각 이해는 General, Knowledge, OCR & Chart, Vision-Centric의 네 축으로 묶은 총 16개 VQA 벤치마크로 측정한다. 시각 생성은 조합적 프롬프트의 GenEval, 조밀 프롬프트의 DPG-Bench, 길이별 short·medium·long 프롬프트에서의 CLIP similarity, validation 표본 1,000개의 held-out diffusion loss를 함께 보고한다. 따라서 생성의 정렬, 조합성, 손실을 하나의 점수로 합치지 않으며, 복잡도 실험에서는 측정 대상 양식의 목표 분포가 고정될 때만 손실 차이를 양식 간 효과로 해석한다.

Demystifying Modality Knowledge Flow

  • 통합 모델은 언어 모델링, 이미지→텍스트 이해, 텍스트→이미지 생성을 함께 학습한다. 저자들은 세 능력의 자료 비율만 바꾸는 실제 데이터 실험으로 평균적 이전 방향을 측정하고, 실제 자료에서 분포와 규모가 함께 변하는 문제를 보완하기 위해 CLEVR에서 특정 개념을 한 학습 흐름에서만 제거하는 통제 실험을 수행한다. 분석의 결론은 양식 간 이전이 단순한 양방향 관계가 아니라 과제와 개념에 따라 비대칭적이라는 것이다.

Modality transfer on real-world data

  • 실제 데이터 실험에서 고정된 50B 시각 예산에 언어를 0, 12.5, 33, 75, 200B 토큰씩 추가해 언어 비율을 0~80%로 바꾸면, Figure 1의 네 시각 이해 축과 조건부·무조건부 생성 지표가 모두 개선됐다. 반대로 고정 50B 언어 또는 생성 예산에 이해 토큰을 같은 범위로 추가하면 언어 정확도는 소폭 낮아지고 perplexity는 높아졌지만, DPG·GenEval·CLIP similarity는 높아지고 두 생성 조건의 diffusion loss는 낮아졌다. 저자들은 언어 저하의 상당 부분이 일반 언어 자료와 시각-언어 자료의 텍스트 분포 차이에서 나온다고 해석한다. 생성 토큰을 추가한 경우 언어와 네 시각 이해 축은 뚜렷한 단조 추세 없이 작게 변동했으므로, 생성 목표는 다른 목표와 심하게 충돌하지 않지만 강한 역방향 이전도 보이지 않았다.

Language priors for visual understanding and generation

  • 언어 사전지식 실험은 시각 예산을 50B 토큰으로 고정하고, 언어 토큰을 최대 200B까지 더한 from-scratch 학습이다. Figure 1에서 언어 비율이 0%에서 80%로 증가할수록 General·Knowledge·OCR & Chart·Vision-Centric 점수와 DPG·GenEval·CLIP-Sim이 단조롭게 높아졌고, 조건부와 무조건부 diffusion loss는 모두 낮아졌다. 언어가 텍스트 조건 해석뿐 아니라 무조건부 이미지 모델링에도 이득을 준 관측이다. 저자들은 언어 표현이 양식 독립적인 세계 구조를 담아 시각 학습을 시작시키는 사전지식일 수 있다고 연결하지만, 이 실험만으로 그 표현 가설을 직접 검증한 것은 아니다.
언어 데이터 비율이 시각 이해와 생성에 미치는 영향
언어 데이터 비율이 시각 이해와 생성에 미치는 영향

Transfer from vision understanding to language and visual generation

  • 시각 이해 이전 실험은 고정 50B 언어 또는 생성 예산 위에 이해 토큰을 0~200B 추가한다. 언어 효과를 볼 때는 혼합 자료로 처음부터 학습했지만, 생성 효과를 볼 때는 최소한의 텍스트 능력을 확보하려고 50B 언어 사전학습 체크포인트에서 시작했다. Figure 2에서 이해 자료가 늘수록 언어 정확도는 조금 하락하고 perplexity는 상승한 반면, 조건부·무조건부 생성의 diffusion loss는 감소하고 DPG·GenEval·CLIP-Sim은 증가했다. 저자들은 이해 목표에서 학습한 판별적 시각 특징이 생성 과정에 효과적으로 전달된다고 해석한다.
시각 이해 데이터 비율이 언어와 시각 생성에 미치는 영향
시각 이해 데이터 비율이 언어와 시각 생성에 미치는 영향

Does visual generation help understanding and language?

  • 생성의 역방향 효과는 고정 50B 언어 또는 이해 예산에 생성 토큰을 0~200B 추가해 측정했다. 언어에 대한 효과는 처음부터 혼합 학습했고, 이해에 대한 효과는 50B 언어 사전학습 모델에서 이해·생성 자료를 혼합한 뒤 Cambrian-VQA로 미세조정했다. Figure 3에서 조건부와 무조건부 생성량 변화에 따른 언어 정확도·perplexity와 네 시각 이해 축은 작은 비단조 변동만 보인다. 따라서 이 조건에서는 flow matching 생성 목표가 다음 토큰 예측과 본질적으로 큰 충돌을 일으킨다는 증거는 없지만, 언어 또는 이해를 보편적으로 향상시키는 촉진제라는 증거도 없다.
시각 생성 데이터 비율이 언어와 시각 이해에 미치는 영향
시각 생성 데이터 비율이 언어와 시각 이해에 미치는 영향

Concept transfer: A synthetic controlled study

  • 저자들은 실제 자료의 상관관계를 인과적으로 분리하려고 확장 CLEVR의 색, 형태, 공간 관계, 크기, 개수라는 다섯 개념 축을 사용한다. 색과 형태는 저수준 속성으로, 관계·크기·개수는 더 구조적 또는 추상적인 개념으로 구분한다. 한 개념을 이해 또는 생성 학습 흐름에서만 제거한 뒤, 반대 흐름에서 학습한 지식만으로 해당 개념을 zero-shot 처리할 수 있는지 검사한다. zero-shot 이전이 실패한 경우에는 반대 목표에서의 이전 노출이 뒤이은 명시적 학습을 빠르게 하는 잠재 사전지식인지도 별도로 측정한다.

Data pipeline and experiment setting

  • 합성 자료는 장면 그래프로 렌더링한 각 이미지에서 텍스트→이미지 생성 표적, 이미지 기술 caption, VQA 쌍을 병렬로 만든다. 목표 개념을 언급한 caption·질문·답은 정규식 word-boundary 필터로 제거하고, 색·형태·개수·크기는 renderer metadata로 재확인한다. 나머지 shard와 데이터·계산 예산은 동일하게 유지한다. 이해→생성 방향에서는 개념을 생성 흐름에서만 빼고 caption·VQA에는 남기며, 생성→이해 방향에서는 반대로 처리한다. 개념을 양쪽에서 본 baseline과 양쪽에서 제거한 zero-exposure control을 비교한다. 이해는 보류 개념 VQA 정확도로, 생성은 보류 개념을 요구하는 프롬프트 100개로 생성한 이미지가 속성을 충족하는지 Qwen3-VL-8B-Instruct가 판정한 정확도로 평가하며, 개념별 VQA 질문도 100개다. 따라서 이 모델은 학습용 자료 생성기가 아니라 생성 결과의 자동 판정기 역할을 맡는다.
합성 CLEVR 개념 제거 시험 환경
합성 CLEVR 개념 제거 시험 환경

Zero-shot concept transfer results

  • Figure 5에서 색과 형태는 어느 방향으로도 zero-shot 이전되지 않았다. 예를 들어 이해에만 yellow를 남긴 생성 정확도는 0.05이고 양쪽 제거 control은 0.03이며, red는 두 조건 모두 0이다. 생성에만 yellow를 남긴 이해 정확도도 0.04, control은 0.03이고 red는 모두 0이다. 반면 이해에서 배운 구조 개념은 생성에 부분적으로 이전됐다. front-left 생성 정확도는 이해만 보유한 조건 0.46, control 0.41로 0.05 높고, large는 0.09 대 0.02, 4+ count는 0.14 대 0.03이다. 생성에서만 배운 관계·크기의 이해는 대체로 control과 비슷하지만, count는 0.10으로 control 0.05보다 0.05 높다. 구조 개념의 이해→생성 이전은 관찰되지만, 생성→이해 이전은 개수의 예외 외에는 광범위하지 않다.
CLEVR zero-shot 개념 이전 결과
CLEVR zero-shot 개념 이전 결과

Priors in concept transfer

  • zero-shot 이전에 실패한 색·형태에 대해, 개념 제거 체크포인트를 이전에 없던 개념이 포함된 혼합 자료로 2,000 step 미세조정하고 200 step마다 평가했다. 생성에서만 개념을 미리 접한 모델은 뒤이은 이해 학습에서 control보다 빠르게 회복했으며, Figure 6의 평균 정확도 차이는 yellow +0.134, red +0.273, sphere +0.133, cylinder +0.143이다. 반대로 이해에서만 사전 노출된 모델의 생성 회복 차이는 yellow +0.002, red +0.034으로 거의 없었고, sphere +0.221, cylinder +0.104로 형태에서만 나타났다. 이는 생성이 표준 VQA를 zero-shot으로 높인다는 뜻이 아니라, 명시적 감독이 주어질 때 색·형태 같은 저수준 이해 개념의 습득을 가속할 수 있다는 관측이다.
미세조정을 통한 저수준 개념 회복
미세조정을 통한 저수준 개념 회복

Synergy vs. Competition in Unified Pretraining

  • 통합 사전학습은 언어·시각 이해·생성이 한정된 파라미터를 공유하므로, 상호작용이 시너지인지 용량 경쟁인지가 핵심 설계 문제다. 저자들은 한 양식 자료의 복잡도를 올렸을 때 반대 양식이 어떻게 변하는지, Transformer의 어느 구성 요소를 공유해야 하는지, 현상이 시각 토크나이저 설계가 달라도 유지되는지를 차례로 조사한다. 단순 과제에서는 시너지가 나타날 수 있지만 복잡한 실제 과제에서는 경쟁이 커지며, 공유 attention·정규화와 분리 FFN이 두 효과를 균형 있게 만든다는 것이 이 절의 결론이다.

Data and task complexity

  • 100B 토큰을 언어 50B와 주로 무조건부 이미지 생성 50B로 나누고, 각 양식 50B의 단일 양식 모델을 기준선으로 삼았다. 시각 복잡도는 단색 배경, 패턴, 잡음, 텍스트 렌더링, OCR 사진, 클립당 8프레임 비디오, SSTK 자연 이미지 순으로 넓은 경향을 따라 높였으며 DCLM 언어 분포는 고정하고 언어 perplexity를 측정했다. 반대 방향에서는 SSTK를 고정하고 simple 반복 문자, nonsense 무작위 문자열, DCLM으로 언어 자료를 바꿔 held-out diffusion loss를 측정했다. Figure 8에서 단색 배경과 잡음은 언어 단일 모델 PPL 17.13 대비 각각 ΔPPL −0.211, −0.183으로 개선했으나, video와 SSTK는 각각 +0.052, +0.075로 악화했다. 생성 손실은 세 언어 조건 모두에서 낮아졌지만 simple 언어의 감소가 조건부 −0.0153, 무조건부 −0.0168로 가장 컸다. 복잡도 단계는 엄밀한 단조 척도가 아니라는 단서가 있다.
시각 및 언어 데이터 복잡도 단계
시각 및 언어 데이터 복잡도 단계
과제 복잡도에 따른 양식 간 시너지와 경쟁
과제 복잡도에 따른 양식 간 시너지와 경쟁

Parameter-sharing in Transformers for promoting synergy

  • FFN, attention(Q/K/V/O와 교차 양식 routing), 최종 정규화를 공유하거나 양식별 복제로 두고, simple 언어와 단색 배경을 각각 50B씩 사용해 총 100B 토큰으로 학습했다. Figure 9에서 모두 공유한 dense는 단일 양식 기준보다 언어 ΔPPL +0.272, 생성 Δdiffusion loss 약 +0.054로 두 지표가 모두 나빠졌다. FFN만 분리한 split_ffn은 공유 attention·정규화를 유지하면서 언어 ΔPPL −0.211, 생성 손실 −0.017을 기록했다. attention까지 분리한 경우는 각각 −0.045와 −0.006, 정규화까지 분리한 경우는 −0.106과 −0.009로 이득이 줄었고, 모두 분리하면 기준선에 가깝다. 저자들은 FFN이 양식별 계산 용량을 제공해 간섭을 격리하고, 공유 attention과 정규화는 각각 공동 문맥화와 특성 규모 정렬을 가능하게 한다고 해석한다.
Transformer 파라미터 공유 방식의 교차 양식 성능 영향
Transformer 파라미터 공유 방식의 교차 양식 성능 영향

Generalization across multiple vision encoder designs

  • 동일한 split_ffn 조건에서 RAE, Raw Pixels, CLIP+VAE, AR(UniTok)를 비교했다. 단색 배경을 언어와 결합할 때 언어 ΔPPL은 각각 −0.211, −0.266, −0.024, −0.065였다. simple 언어가 생성 손실에 준 상대 변화는 RAE에서 조건부 −5.00%·무조건부 −5.47%, Raw Pixels에서 −2.19%·−2.82%, CLIP+VAE에서 −2.24%·−2.83%, AR에서 −0.62%·−0.53%였다. 이 수치는 각 구성의 언어 없음 기준 생성 손실에 대한 상대 변화율이다. 네 구성 모두에서 시너지가 나타났으므로, 사전 정렬된 공통 시각 잠재공간은 필요조건이 아니다. 다만 저자들은 공통 표현 공간이 표현 마찰과 설계 복잡도를 줄여 시너지의 효율과 크기에는 유리할 수 있다고 본다.
시각 토크나이저 설계별 양식 간 시너지
시각 토크나이저 설계별 양식 간 시너지

The Necessity of Early Unification

  • 언어가 시각에 사전지식을 제공한다는 관측만으로 완성된 언어 모델에 시각을 나중에 붙이는 전략을 정당화할 수는 없다. 저자들은 총 학습량과 혼합 비율을 맞춘 채 시각 도입 시점과 양식 학습 순서를 바꾸고, 늦은 통합에서 시각 경로가 실제로 덜 쓰이는지를 활성화·임베딩·attention으로 추적한다. 이 절은 조기 동시 통합이 일정상의 선택을 넘어 시각 경로의 공동 진화를 위한 조건인지 검증한다.

Early unification vs. late unification

  • 총 1T 토큰을 고정하고 순수 언어 warm-up을 0, 200, 400, 600, 800B 토큰으로 달리한 뒤, 남은 예산에서 언어·시각을 50/50으로 학습했다. 시각 절반은 captioning, 나머지 절반은 조건부 생성에 썼다. Figure 11에서 언어 선행 학습은 언어 정확도와 PPL에 초기 이득을 주지만 600B와 800B 사이에서는 거의 포화한다. 반면 General·OCR & Chart·Vision-Centric 이해와 DPG·GenEval·CLIP-Sim, diffusion loss는 시각 도입이 늦을수록 일관되게 나빠졌다. Knowledge 축은 완전한 단조 추세가 아니므로, 저자들의 결론은 모든 개별 지표의 엄격한 단조성보다 긴 언어 단독 단계가 작은 언어 이득에 비해 큰 시각 손실을 동반한다는 전반적 경향에 근거한다.
통합 학습 시작 시점의 성능 영향
통합 학습 시작 시점의 성능 영향

Sequential vs. joint training

  • 언어(L)·이해(U)·생성(G)의 전체 비율을 50/25/25, 총 예산을 1T 토큰으로 맞춘 뒤 여섯 순열의 3단계 순차 학습을 시험했다. 이전 양식 자료 12.5%를 재생해 망각을 줄이는 조건과 재생 없는 조건을 모두 두고, 처음부터 세 양식을 함께 학습한 기준선과 비교했다. Figure 12에서 어떤 순차 순서도 시각 과제 전반에서 공동 학습 기준을 안정적으로 넘지 못했으며, 인간 발달과 비슷하다고 가정한 vision-first 순서도 예외가 아니었다. 재생은 엄격한 순차 학습보다 일부 결과를 개선하지만 공동 학습 수준을 재현하지 못한다. 이는 차이가 재앙적 망각만의 문제가 아니라, 함께 최적화할 때 형성되는 양식 간 상호의존성에도 관련될 수 있음을 시사한다.
순차 학습과 공동 학습의 양식 순서별 비교
순차 학습과 공동 학습의 양식 순서별 비교

Vision laziness in late alignment

  • vision laziness를 보기 위해 언어 warm-up 0~800B 체크포인트에서 이미지 전용 FFN을 매번 새로 무작위 초기화하고, 동일한 200B 토큰의 50/50 언어·시각 continuation을 수행했다. 생성 실험은 조건부 이미지 생성, 이해 실험은 image captioning만 시각 목표로 사용했다. 측정값은 10만 최적화 step 동안의 img_ffn 출력 L2 평균, 언어 FFN을 지나는 이미지 wrapper 토큰 임베딩 L2, 실제 시각 추론 시 원소 수 제곱근으로 정규화한 img_ffn 출력 RMS, 층별 이미지 토큰 attention 비율이다. Figure 13에서 warm-up이 길수록 이 값들은 대체로 낮아졌으며, 생성 실험 초기층 img_ffn 학습 활성화 L2는 0B의 0.126에서 800B의 0.031로, 깊은 층은 0.577에서 0.155로 감소했다. 저자들은 굳어진 언어 trunk가 시각 정보를 적극 통합하기보다 주변 텍스트와 언어 사전지식에 의존하는 지름길을 택한다고 해석한다. 활성화·attention은 경로 사용량의 관측치이므로 인과 원인을 직접 조작한 증거와는 구분해야 한다.
늦은 정렬에서 나타나는 시각 경로 저활성화 측정
늦은 정렬에서 나타나는 시각 경로 저활성화 측정

Designing Unified Pretraining Recipes

  • 저자들은 비대칭 지식 이전 결과에 따라 생성에 큰 직접 예산을 배정하기보다 언어와 시각 이해에 대부분을 배정하는 통합 사전학습 배합을 설계한다. 먼저 1T 토큰에서 언어·이해·생성 비율을 탐색하고, 공유 attention·정규화와 양식별 FFN이라는 구조를 MoE로 확장하며, 시각을 처음부터 함께 학습한다. 이어 2T 토큰 규모에서 데이터 비율, 구조, 통합 시점을 각각 하나의 변수만 달리하는 비교로 검증한다.

Optimizing data mixing ratios

  • 1T 토큰 grid search는 언어 비율을 10~90%로 바꾸되 나머지 시각 비율을 반씩 둔 Fix MM, 언어를 50%로 고정한 Fix Lan, 언어를 70%로 고정한 Next로 구성한다. Table 1에서 저자들은 Next의 L70/U25/G5를 선택했다. 이 행은 General 48.3, 시각 이해 평균 38.5, DPG 0.450, GenEval 0.237, CLIP-Sim 0.275로 Next 범위의 해당 최고값을 기록한다. 그러나 diffusion loss 0.2868은 Next의 최저값이 아니며 L70/U5/G25의 0.2823보다 0.0045 높다. 따라서 이 배합의 ‘최적’은 모든 생성 지표에서 절대 우위라는 뜻이 아니라 언어 보존, 이해 평균, 생성 정렬 지표를 함께 고려한 선택이다. 생성 비율 5%는 L50/U25/G25의 25%와 비교하면 5배 적은 생성 토큰 비율이다.
언어·시각 이해·시각 생성 데이터 혼합 비율 탐색
언어·시각 이해·시각 생성 데이터 혼합 비율 탐색

Scaling recipes

  • 확장 실험은 총 13.5B 파라미터, 토큰당 활성 파라미터 1.5B인 MoE를 2T 토큰으로 학습한다. 256 expert 중 top-16을 routing하며, 활성 expert 두 개는 언어와 시각 전용으로 고정하고 나머지 14개는 동적으로 routing한다. Full(L70/U25/G5)은 동일 MoE·조기 통합의 Balanced(L50/U25/G25)보다 언어 정확도 54.31% 대 52.86%로 +1.45%p, 시각 이해 평균 43.08% 대 41.42%로 +1.66%p, DPG 0.689 대 0.676으로 +0.013, GenEval 0.482 대 0.467로 +0.015를 기록했다. 다만 §6.2 본문은 순수 생성 품질이 ‘highly consistent’하다고 서술하지만, Table 2 수치는 이 표현과 충돌한다. Full의 diffusion loss는 0.272로 Balanced의 0.261보다 0.011 높고, 생성 이미지 5만 장으로 계산한 FID도 5.234로 5.131보다 0.103 높다. 이 항목에서는 같은 표의 수치를 채택하므로, Full이 생성 정렬 지표에서는 높지만 두 순수 생성 품질 지표에서는 Balanced보다 우세하지 않다고 해석해야 한다. Balanced MoE는 같은 배합·조기 통합의 3.5B dense보다 언어 정확도 +0.83%p, 이해 평균 +0.93%p, diffusion loss −0.005이고, Late-Fusion보다 각각 +1.08%p, +0.76%p, −0.008이다.
2T 토큰 규모의 학습 배합·구조·통합 시점 비교
2T 토큰 규모의 학습 배합·구조·통합 시점 비교
  • 관련 연구는 통합 멀티모달 모델, 시각 결합 시점, 양식 간 지식 흐름, 양식별 파라미터 공유 구조의 네 갈래로 정리된다. 이 논문은 선행 모델들의 성능 순위를 다시 매기기보다, 통합 사전학습의 설계 공간을 통제된 학습 실험으로 분해해 관찰하는 연구로 자리매김한다.

Unified models

  • 통합 모델은 이미지를 이산 토큰으로 바꾸어 자기회귀적으로 다루는 방식에서, 이산 언어 예측과 연속 확산을 결합하는 Transfusion류, 이해와 생성에 공통 또는 조화된 시각 표현을 쓰는 방식으로 발전해 왔다. 본 연구는 특정 통합 아키텍처 자체를 새로 제안하기보다, 언어·시각 이해·생성을 함께 학습할 때 이들 능력이 어떻게 상호작용하는지 분석한다.

Vision integration

  • 시각 통합 연구에서 late-fusion은 사전학습된 언어 모델과 시각 인코더를 adapter 및 사후 미세조정으로 연결한다. early-fusion은 시각을 학습 초기부터 넣어 언어·시각 표현이 함께 변화하게 하며, 최근에는 시각 이해를 넘어 생성과 interleaved 출력도 통합한다. 이 논문은 늦은 통합이 성능 저하뿐 아니라 이미지 FFN 활성화와 이미지 attention 비율 감소를 동반한다는 측정으로 조기 통합의 내부 경로를 분석한다.

Knowledge flow

  • 기존 연구는 통합 모델에서 언어 또는 시각 이해가 복잡한 생성에 도움이 될 수 있음을 시사했지만, 실제 자료에서는 분포·규모·표현 방식이 함께 달라진다. 본 연구는 웹 규모 혼합 실험과 합성 개념 제거 실험을 결합해 언어→시각의 이득, 이해→생성의 강한 이전, 생성의 제한적 역이전이 개념과 목표에 따라 달라짐을 조사한다.

Architecture designs in unified models

  • 통합 구조는 모든 Transformer 파라미터를 공유하는 단일망, 양식별 FFN 또는 attention을 두는 부분 분리망, 사실상 별도 생성망을 두는 강한 분리 구조로 나눌 수 있다. 이 논문의 통제 실험에서는 완전 공유와 완전 분리보다, 양식별 FFN으로 계산 용량 경쟁을 줄이면서 attention·정규화를 공유하는 설계가 단순 과제 조건에서 더 큰 교차 양식 이득을 보였다. 이는 MoE 확장 구조를 선택한 실험적 근거다.

Discussion and Conclusion

  • 논문은 통합 멀티모달 사전학습을 양식을 단순히 한 모델에 넣는 문제가 아니라, 비대칭 지식 이전, 과제 복잡도에 따른 용량 경쟁, 통합 시점의 동역학 문제로 다룬다. 언어와 시각 이해를 생성의 사전지식으로 활용하고, FFN을 양식별로 전문화하며, 세 목표를 학습 초기부터 공동 최적화하는 조합이 실험에서 유효했다. 다만 이 원칙이 비디오·오디오·행동 등을 포함한 임의 입출력 모델에도 그대로 적용된다는 주장은 이 논문에서 검증된 결론이 아니라 향후 연구 가설이다.

Acknowledgment

  • 저자들은 언어 모델의 물리학과 시각 관련 측면을 논의한 Zeyuan Allen-Zhu, 그리고 연구 토론과 지원에 참여한 동료들에게 감사를 표한다.

Limitations and Future Work

  • 실험은 텍스트와 정적 이미지에 집중되어 있으므로, 시간 구조와 계산 요구가 다른 비디오·오디오에서 지식 이전, 양식별 분리 구조, 데이터 curriculum이 어떻게 달라지는지는 확인되지 않았다. 또한 13.5B 파라미터·2T 토큰은 상당한 규모이지만, 1T 파라미터를 넘는 극단적 규모에서 시너지와 경쟁의 전환점이 바뀌거나 생성이 내부 세계 시뮬레이터처럼 이해를 도울 가능성은 저자들이 제시한 가설이며 실증 결과는 아니다.

부록

  • 부록은 네 부분으로 구성된다. 대체 시각 토크나이저에서 실제 자료의 양식 이전 경향이 재현되는지 다루고, CLEVR 장면 생성·caption·VQA 구성과 개념 제거 평가를 상세화하며, 저수준 개념 회복의 추가 학습 곡선과 zero-shot 생성 사례를 제시한다. 마지막으로 계산 예산을 맞춘 조기 통합 및 늦은 정렬 모델의 텍스트-이미지 생성 사례를 정성적으로 비교한다.

짧은 생각

실제 자료의 혼합 비율 실험만으로 이전을 단정하지 않고, 한 흐름에서만 개념을 제거한 CLEVR 실험으로 색·형태와 관계·크기·개수의 차이를 분해한 점이 이 논문의 강점이다. 생성이 zero-shot 이해를 대체로 높이지 않으면서도, 명시적 감독이 주어진 뒤 저수준 이해 개념의 학습 곡선을 앞당긴 결과는 최종 정확도 하나만으로 생성 목표의 효용을 판단하기 어렵다는 근거가 된다. 다만 합성 생성 결과의 속성 충족 여부는 개념마다 100개 프롬프트를 Qwen3-VL-8B-Instruct가 판정한 값이므로, renderer metadata로 직접 채점할 수 있는 조건이나 사람 판정에서도 같은 비대칭이 재현되는지에 따라 해석의 강도는 달라질 수 있다.

Related Posts