EN
14 Nov 2023
|
Paper Review
Communication-Efficient Training
Distributed Training
LLM Pretraining
This article explains the key points of DiLoCo: Distributed Low-Communication Training of Language Models. 2023-11-14 (arXiv) Douillard, Arthur, Feng, Qixuan, Rusu, Andrei A., Chhaparia, Rachita, Donchev, Yani, Kuncoro, Adhiguna, Ranzato, Marc’Aurelio, Szlam, Arthur, Shen, Jiajun. Google DeepMind Paper Read this article in Korean Summary Training language models across poorly connected...
KO
14 Nov 2023
|
Paper Review
Communication-Efficient Training
Distributed Training
LLM Pretraining
이번 글에서는 DiLoCo: Distributed Low-Communication Training of Language Models 논문의 핵심 포인트만 간단히 정리한다. 2023년 11월 14일(Arxiv) Douillard, Arthur, Feng, Qixuan, Rusu, Andrei A., Chhaparia, Rachita, Donchev, Yani, Kuncoro, Adhiguna, Ranzato, Marc’Aurelio, Szlam, Arthur, Shen, Jiajun. Google DeepMind 논문 링크 영문판 보기 요약 연결이 취약한 클러스터에 걸쳐 언어 모델을 학습하기는...
EN
13 Nov 2023
|
Paper Review
LLM Safety
Adversarial Learning
Self-Training
This article explains the key points of MART: Improving LLM Safety with Multi-round Automatic Red-Teaming. 2023-11-13 (arXiv) Ge, Suyu, Zhou, Chunting, Hou, Rui, Khabsa, Madian, Wang, Yi-Chia, Wang, Qifan, Han, Jiawei, Mao, Yuning. GenAI, Meta, University of Illinois Urbana-Champaign Paper Read this article in Korean Summary Finding and correcting unsafe...
KO
13 Nov 2023
|
Paper Review
LLM Safety
Adversarial Learning
Self-Training
이번 글에서는 MART: Improving LLM Safety with Multi-round Automatic Red-Teaming 논문의 핵심 포인트만 간단히 정리한다. 2023년 11월 13일(Arxiv) Ge, Suyu, Zhou, Chunting, Hou, Rui, Khabsa, Madian, Wang, Yi-Chia, Wang, Qifan, Han, Jiawei, Mao, Yuning. GenAI, Meta, University of Illinois Urbana-Champaign 논문 링크 영문판 보기 요약 대형 언어 모델(LLM)의 안전하지 않은...
KO
13 May 2023
|
Seaborn
Matplotlib
Tutorial
이 글에서는 python seaborn의 사용법을 정리한다. 따로 명시하지 않으면 이 글에서의 예제 데이터는 다음으로 설정한다. data = pd.DataFrame(data={ 'A': [1,4,3,6,5,8,7,9], 'B': [6,5,7,8,9,9,8,9], 'C': [8.8,7.7,6.6,5.5,4.4,3.3,2.2,1.1] }) seaborn 설치 설치는 꽤 간단하다. pip install seaborn import는 관례적으로 다음과 같이 한다. import seaborn as sns 막대 그래프(barplot) sns.barplot(data=data) 그래프 배경 설정(set) 기본값은 style="darkgrid"이고...
