이번 글에서는 Multi-Token Attention 논문의 핵심 포인트만 간단히 정리한다. 2025년 4월 1일(Arxiv), COLM 2025 Golovneva, Olga, Wang, Tianlu, Weston, Jason, Sukhbaatar, Sainbayar. FAIR at Meta 논문 링크 영문판 보기 요약 언어 모델은 여러 정보를 동시에 만족하는 구절을 찾는 데 어려움을 겪을 수 있다. 다양한 출처의 텍스트를 모은 SlimPajama의 동일한 105B...

Read this article in Korean Trends March 2025’s theme in these three papers is how training and execution design shape language-model performance: each changes the process around a model to address a specific engineering constraint. DiLoCo, short for Distributed Low-Communication, periodically synchronizes independently trained model copies to reduce communication. Behavioral...

영문판 보기 이달의 트렌드 2025년 3월의 주제는 학습과 실행 설계가 언어 모델 성능에 미치는 영향으로, 논문 3편은 모두 모델 주변의 처리 과정을 바꾸어 구체적인 공학적 제약에 대응한다. Distributed Low-Communication의 약자인 DiLoCo는 독립적으로 학습한 모델 사본을 주기적으로 동기화해 통신을 줄인다. 행동 priming은 생성한 풀이에 보상을 부여하는 강화학습 전에 추론 예시를 제공한다....

This article explains the key points of Video-R1: Reinforcing Video Reasoning in MLLMs. 2025-03-27 (arXiv), 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Feng, Kaituo, Gong, Kaixiong, Li, Bohao, Guo, Zonghao, Wang, Yibing, Peng, Tianshuo, Wu, Junfei, Zhang, Xiaoying, Wang, Benyou, Yue, Xiangyu. CUHK MMLab, CUHK (SZ), Tsinghua University,...

이번 글에서는 Video-R1: Reinforcing Video Reasoning in MLLMs 논문의 핵심 포인트만 간단히 정리한다. 2025년 3월 27일(Arxiv), 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Feng, Kaituo, Gong, Kaixiong, Li, Bohao, Guo, Zonghao, Wang, Yibing, Peng, Tianshuo, Wu, Junfei, Zhang, Xiaoying, Wang, Benyou, Yue, Xiangyu. CUHK MMLab, CUHK (SZ), Tsinghua...