영문판 보기 이달의 트렌드 2025년 2월의 주제는 언어 모델의 자원 배분이며, 선정된 논문 3편은 서로 다른 예산에서 추론 연산량, 교사의 지도 신호, 가중치 정밀도가 품질에 미치는 영향을 살펴본다. s1은 답변을 생성하는 동안 연산량을 늘리는 test-time scaling을 연구한다. Distillation Scaling Laws는 교사의 출력 확률로 학생을 학습하는 지식 증류를 연구한다. Matryoshka Quantization은...

This article explains the key points of NeoBERT: A Next-Generation BERT. 2025-02-26 (arXiv) Breton, Lola Le, Fournier, Quentin, Mezouar, Mariam El, Morris, John X., Chandar, Sarath. Chandar Research Lab, Mila – Quebec AI Institute, Polytechnique Montréal, Cornell University, Royal Military College of Canada, Canada CIFAR AI Chair Paper Github Project...

이번 글에서는 NeoBERT: A Next-Generation BERT 논문의 핵심 포인트만 간단히 정리한다. 2025년 2월 26일(Arxiv) Breton, Lola Le, Fournier, Quentin, Mezouar, Mariam El, Morris, John X., Chandar, Sarath. Chandar Research Lab, Mila – Quebec AI Institute, Polytechnique Montréal, Cornell University, Royal Military College of Canada, Canada CIFAR AI Chair 논문 링크...

This article explains the key points of BIG-Bench Extra Hard. 2025-02-26 (arXiv) Kazemi, Mehran, Fatemi, Bahare, Bansal, Hritik, Palowitch, John, Anastasiou, Chrysovalantis, Mehta, Sanket Vaibhav, Jain, Lalit K., Aglietti, Virginia, Jindal, Disha, Chen, Peter, et al. Google DeepMind, Google Research, UCLA Paper Github Read this article in Korean Summary Existing...

이번 글에서는 BIG-Bench Extra Hard 논문의 핵심 포인트만 간단히 정리한다. 2025년 2월 26일(Arxiv) Kazemi, Mehran, Fatemi, Bahare, Bansal, Hritik, Palowitch, John, Anastasiou, Chrysovalantis, Mehta, Sanket Vaibhav, Jain, Lalit K., Aglietti, Virginia, Jindal, Disha, Chen, Peter, et al. Google DeepMind, Google Research, UCLA 논문 링크 Github 영문판 보기 요약 기존 범용...