이 글에서는 2018년 10월 Jacob Devlin 등이 발표한 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding를 살펴보도록 한다. 어쩐지 ELMo를 매우 의식한 듯한 모델명이다. 코드와 사전학습(기학습)된 모델은 여기에서 볼 수 있다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. BERT: Pre-training of Deep Bidirectional Transformers for...

이 글에서는 2018년 6월 Alec Radford 등이 발표한 OpenAI GPT-1: Improving Language Understanding by Generative Pre-Training를 살펴보도록 한다. 코드와 논문은 여기에서 볼 수 있다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. OpenAI GPT-1 - Improving Language Understanding by Generative Pre-Training 논문 링크: OpenAI GPT-1 - Improving...

이 글에서는 2018년 2월 Matthew E. Peters 등이 발표한 Deep contextualized word representations를 살펴보도록 한다. 참고로 이 논문의 제목에는 ELMo라는 이름이 들어가 있지 않은데, 이 논문에서 제안하는 모델의 이름이 ELMo이다. Section 3에서 나오는 이 모델은 Embeddings from Language Models이다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다....

이 글에서는 2017년 6월(v1) Ashish Vaswani 등이 발표한 Attention Is All You Need를 살펴보도록 한다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. Attention Is All You Need 논문 링크: Attention Is All You Need Pytorch code: Harvard NLP 초록(Abstract) 성능 좋은 변환(번역) 모델은 인코더와 디코더를 포함한...

이 글에서는 2013년 8월(v1) Alex Graves가 발표한 Generating Sequences With Recurrent Neural Networks를 살펴보도록 한다. 연구자의 홈페이지도 있다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. Generating Sequences With Recurrent Neural Networks 논문 링크: Generating Sequences With Recurrent Neural Networks 초록(Abstract) 이 논문은 LSTM(Long Short-term Memory) RNNs이...