mHC: Manifold-Constrained Hyper-Connections 요약 설명
31 Dec 2025 | Paper Review Residual Connections Hyper-Connections LLM Pretraining이번 글에서는 mHC: Manifold-Constrained Hyper-Connections 논문의 핵심 포인트만 간단히 정리한다. 2025년 12월 31일(Arxiv) Xie, Zhenda, Wei, Yixuan, Cao, Huanqi, Zhao, Chenggang, Deng, Chengqi, Li, Jiashi, Dai, Damai, Gao, Huazuo, Chang, Jiang, Yu, Kuai, et al. DeepSeek-AI 논문 링크 영문판 보기 요약 mHC: Manifold-Constrained Hyper-Connections는 Hyper-Connections(HC)의 불안정성과 메모리 접근 오버헤드를 다룬다....