This article explains the key points of Matryoshka Quantization. 2025-02-10 (arXiv) Nair, Pranav, Datta, Puranjay, Dean, Jeff, Jain, Prateek, Kusupati, Aditya. Google DeepMind Paper Read this article in Korean Summary Quantization, representing model weights with fewer discrete values, reduces storage requirements but can lower accuracy and require separate models for...

이번 글에서는 Matryoshka Quantization 논문의 핵심 포인트만 간단히 정리한다. 2025년 2월 10일(Arxiv) Nair, Pranav, Datta, Puranjay, Dean, Jeff, Jain, Prateek, Kusupati, Aditya. Google DeepMind 논문 링크 영문판 보기 요약 양자화는 모델 가중치를 더 적은 수의 이산값으로 표현해 저장 공간을 줄이지만, 정확도를 낮출 수 있고 배포 환경의 자원 한도마다 별도의 모델을...

This article explains the key points of BOLT: Bootstrap Long Chain-of-Thought in Language Models without Distillation. 2025-02-06 (arXiv) Pang, Bo, Dong, Hanze, Xu, Jiacheng, Savarese, Silvio, Zhou, Yingbo, Xiong, Caiming. Salesforce AI Research Paper Read this article in Korean Summary Bootstrapping LongCoT (BOLT) addresses how to train language models to...

이번 글에서는 BOLT: Bootstrap Long Chain-of-Thought in Language Models without Distillation 논문의 핵심 포인트만 간단히 정리한다. 2025년 2월 6일(Arxiv) Pang, Bo, Dong, Hanze, Xu, Jiacheng, Savarese, Silvio, Zhou, Yingbo, Xiong, Caiming. Salesforce AI Research 논문 링크 영문판 보기 요약 Bootstrapping LongCoT(BOLT)는 기존 LongCoT 모델의 출력에서 추론을 증류하지 않고도 언어 모델이...

This article explains the key points of Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning. 2025-02-05 (arXiv), 42nd International Conference on Machine Learning, PMLR 267, 2025 Su, DiJia, Zhu, Hanlin, Xu, Yingchen, Jiao, Jiantao, Tian, Yuandong, Zheng, Qinqing. Meta AI, UC Berkeley, UCL Paper Read this...