이 글에서는 2017년 6월(v1) Ashish Vaswani 등이 발표한 Attention Is All You Need를 살펴보도록 한다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. Attention Is All You Need 논문 링크: Attention Is All You Need Pytorch code: Harvard NLP 초록(Abstract) 성능 좋은 변환(번역) 모델은 인코더와 디코더를 포함한...

이 글에서는 2013년 8월(v1) Alex Graves가 발표한 Generating Sequences With Recurrent Neural Networks를 살펴보도록 한다. 연구자의 홈페이지도 있다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. Generating Sequences With Recurrent Neural Networks 논문 링크: Generating Sequences With Recurrent Neural Networks 초록(Abstract) 이 논문은 LSTM(Long Short-term Memory) RNNs이...

이 글에서는 2019년 ICML(International Conference on Machine Learning)에서 어떤 논문들이 accept되어 발표되었는지를 알아볼 것이다. 3424개의 논문이 접수되어 774개의 논문만이 구두 및 포스터 발표로 진행되었다. 논문 리스트는 목차와 같다. 774개를 다 살펴볼 수는 없으므로 몇 개만 추려서 최근 동향을 살펴보도록 하자. Training Neural Networks with Local Error Signals      ...

PyTorch 사용법 - 00. References PyTorch 사용법 - 01. 소개 및 설치 PyTorch 사용법 - 02. Linear Regression Model PyTorch 사용법 - 03. How to Use PyTorch PyTorch 사용법 - 04. Recurrent Neural Network Model 이 글에서는 RNN(Recurrent Neural Network) 기본 모델의 Pytorch 프로젝트를 살펴본다. 사용되는 torch 함수들의 사용법은 여기에서...

이 글에서는 MovieQA: Understanding Stories in Movies through Question-Answering에 대해 알아보고자 한다. VQA task는 이미지(Visual, 영상으로도 확장 가능)와 그 이미지에 대한 질문(Question)이 주어졌을 때, 해당 질문에 맞는 올바른 답변(Answer)을 만들어내는 task이다. MovieQA는 Vision QA의 확장판과 비슷한 것이라고 보면 된다. 그러나 크게 다른 점은 사진 한 장과 QA셋이 아닌 Movie Clip과...