2025년 12월 AI 논문 동향

이달의 트렌드
2025년 12월의 주요 논문
출처

이달의 트렌드

2025년 12월의 주제는 구조를 활용한 학습과 제어이며 선정된 논문 3편은 학습 가능한 구성 요소나 제약을 어디에 배치하느냐가 모델의 행동, 안정성, 비용에 미치는 영향을 살펴본다. 에이전트 적응 서베이는 모델, 도구, 지속적 메모리의 변경을 체계화한다. mHC는 모델 층 사이에 전달되는 표현인 residual stream에 제약을 가하며 시간적 추상화 연구는 고정된 행동 예측 모델에 controller를 추가해 학습한다. 이 연구들은 변경의 효과를 해석할 때 변경이 일어나는 위치를 주요 기준으로 삼는다. 1, 2, 3

논문 2편은 재사용 가능한 행동과 선택적 적응을 연결한다. 서베이는 스킬을 저장, 호출, 개선할 수 있는 절차적 내용으로 다루며 독립적으로 학습한 도구와 고정된 호스트 모델의 출력으로 적응하는 도구를 구분한다. 시간적 추상화 연구는 모델 내부에서도 이와 유사한 역할 분리를 보여준다. 고정된 예측 모델에서 여러 타임스텝 동안 지속되는 행동인 시간적 추상화를 발견한 뒤, 과제 보상으로 학습하는 강화학습을 통해 이를 선택한다. 이 실험 근거는 통제된 탐색 과제에서 얻었으며 대규모 언어 모델이나 일반적인 에이전트 작업 절차에서도 비슷한 이점이 나타남을 입증하지는 않는다.

이 연구들은 구성 요소의 진단과 전체 시스템의 결과도 구분한다. mHC는 residual 연결 경로의 신호 증폭을 학습 손실, 다운스트림 점수와 함께 측정한다. 시간적 추상화 연구는 행동에 대한 개입 실험, controller 전환의 구성 요소 제거 실험, 희소 보상 학습 곡선을 함께 제시한다. 서베이는 도구 자체의 품질과 최종 과제 성능에 대한 기여를 따로 평가하도록 권장한다. 비용을 비교할 때도 비교 범위를 명확히 해야 한다. mHC는 추가 산술 연산량이 적어도 메모리 트래픽 비용이 발생하며 서베이의 검색 효율 비교에서는 적응 방법뿐 아니라 모델 백본과 아키텍처도 함께 달라진다.

2025년 12월의 주요 논문

1. Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

https://arxiv.org/abs/2512.16301
Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills 요약 설명
Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills는 파운데이션 모델에 계획, 도구, 메모리를 결합해 다단계 과제를 수행하는 에이전트 시스템을 변경 대상과 감독 신호의 출처에 따라 분류한다. A1은 평가된 도구 실행 결과로 에이전트를 적응시키고 A2는 평가된 에이전트 출력을 사용한다. T1은 도구를 사용하는 에이전트와 독립적으로 도구를 학습하며 T2는 고정된 에이전트의 감독이나 후속 과제의 효용으로 도구를 적응시킨다.
이 프레임워크는 모델 업데이트를 외부 메모리와 재사용 가능한 절차적 스킬에 연결한다. 구성 요소를 분류할 때는 학습 단계가 중요하다. 학습한 에이전트를 이후에 고정해 T1 도구로 배포할 수 있으며 고정된 호스트의 출력으로 갱신하는 외부 메모리는 주로 T2에 속한다. 모델 파라미터에 정보를 저장하는 파라미터 기반 메모리와 혼합 메모리는 이러한 분류의 경계를 넘나들 수 있다.
검색 사례에서는 s3가 학습 샘플 2.4k개로 평균 정확도 58.9%를 기록했다고 보고하며 Search-R1의 학습 예시는 약 170k개다. 호스트 모델, 학습한 구성 요소, 아키텍처가 다르므로 효율 차이를 T2와 A2의 차이만으로 설명할 수는 없다. 서베이는 실행 품질, 최종 과제 효용, 학습 동역학, 비용, 안전성, 정렬을 각각 평가하도록 권장한다.

2. mHC: Manifold-Constrained Hyper-Connections

https://arxiv.org/abs/2512.24880
mHC: Manifold-Constrained Hyper-Connections 요약 설명
mHC: Manifold-Constrained Hyper-Connections는 병렬 residual stream의 집계, 재분배, 혼합을 학습하는 Hyper-Connections(HC)의 불안정성을 다룬다. 제약 없는 residual 행렬을 여러 층에 걸쳐 곱하면 신호가 증폭될 수 있다. mHC는 열과 행을 번갈아 정규화하는 Sinkhorn-Knopp 정규화로 각 행과 열의 합이 1인 음이 아닌 행렬, 즉 이중 확률 행렬을 근사한다. 제약을 정확히 만족하면 stream 평균을 보존하며 residual 혼합으로 노름이 커지지 않는다.
Residual 확장률 n = 4에서 혼합 정밀도 융합 커널, 선택적 활성값 재계산, 확장된 DualPipe pipeline 스케줄로 넓어진 상태의 메모리와 통신 비용을 줄인다. 저자들은 내부 대규모 학습에서 추가 학습 시간이 6.7%였다고 보고한다. 해당 결과의 상세한 하드웨어별 시간 측정과 모델 구성은 제공하지 않아, 다른 환경에서도 같은 비용을 달성할 수 있는지 판단하는 데 한계가 있다.
27B 모델의 최종 학습 손실은 표준 residual 기준 모델보다 0.021 낮으며 평가한 다운스트림 벤치마크 8개 모두에서 성능이 높다. HC보다 앞선 벤치마크는 7개다. BBH의 3-shot exact match는 48.9에서 51.0으로, DROP의 3-shot F1은 51.6에서 53.9로 오른다. F1은 정밀도와 재현율을 결합해 답변이 겹치는 정도를 측정하는 지표다. MATH의 4-shot exact match는 HC의 26.4에서 26.0으로 낮아지지만 기준 모델의 22.0보다는 높다.

3. Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning

https://arxiv.org/abs/2512.20605
Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning 요약 설명
Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning은 다음 행동 예측으로 재사용 가능한 다단계 행동이 형성되는지 시험한다. 이산 gridworld 탐색과 연속 MuJoCo ant 제어를 실험하며 후속 학습 과제는 익숙한 하위 목표를 이전에 보지 못한 더 긴 순서로 조합하도록 요구한다. 사전학습에는 보상, 과제 설명, 하위 목표 라벨 없이 전문가의 관측-행동 궤적을 사용한다.
내부 controller를 생성하고 전환하는 학습 모듈인 metacontroller는 고정된 예측 모델의 residual stream에 적용할 선형 개입을 발견한다. Encoder는 오프라인 발견 과정에서 미래 궤적 정보를 사용하지만 전환 모듈은 인과적으로 작동한다. 변분 목적함수는 하위 목표나 경계 라벨 없이 controller code를 표준 정규 사전분포에 가깝게 정규화하며 이 발견 단계에는 잡음이 적은 시연을 사용한다.
Internal reinforcement learning은 미래 정보를 조건으로 사용하는 encoder를 8차원 controller code를 선택하는 인과적 순환 정책으로 대체한다. 이에 비해 residual stream은 256차원이다. 기본 모델, controller decoder, 전환 메커니즘은 고정한다. 학습된 전환 시점에만 의사결정을 내려 각 controller를 여러 원시 행동 단계 동안 유지하며 정책이 과제를 완료하기까지 거쳐야 하는 의사결정 단계 수인 유효 horizon을 줄인다.