이번 글에서는 Fastformer 논문에 대해 간략히 다뤄 보겠습니다. 논문 링크 lucidrians github 본 논문은 self-attention의 pairwise interaction 모델링 구조가 굳이 필요한 것인가에 대해 의문을 제시하고 중첩된 additive attention 메커니즘을 통해 충분히 경쟁력 있는 모델을 구현할 수 있다고 주장합니다. 논문 도입부에 나온 줄 글만 봤을 때는 복잡한 과정을 거치는 것으로 생각이...

앞으로 Paper Review 카테고리에는 논문들을 비교적 짧고 가볍게 요약하여 정리하는 글들을 올려보고자 합니다. 첫 타자는 Synthesizer라는 논문입니다. 논문 링크 Yannick Kilcher 논문 리뷰 영상 본 논문은 dot-product based self-attention이 정말 필요한가?에 대한 물음을 던지고 대안을 제시한 논문입니다. 논문에서 dot product self-attention은 sequence 내에서 single token이 다른 token과의 관계에서 갖는 상대적인...

이 글에서는 Learning to Retrieve Videos by Asking Questions 논문을 간략하게 정리한다. Learning to Retrieve Videos by Asking Questions 논문 링크: Learning to Retrieve Videos by Asking Questions 2022년 6월(Arxiv) Avinash Madasu, Junier Oliva, Gedas Bertasius Abstract 전통적인 text-to-video retrieval은 정적인(static) 환경에서만 진행되어 왔다(첫 query가 주어지고 나면 답을 찾을 때까지...

이 글에서는 Facebook AI에서 발표한 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문을 간략하게 정리한다. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 링크: BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 2019년 10월(Arxiv) Mike Lewis, Yinhan Liu, Naman...

이번 글에서는 새로운 파이썬 프로젝트를 진행하기 위한 환경을 쉽고 빠르게 구축하는 방법에 대해 서술해보겠습니다. 본 글은 윈도우를 기준으로 설명합니다. Python 프로젝트 생성하기 1. Poetry 설명 poetry는 의존성 관리와 빌드를 책임지는 라이브러리입니다. poetry를 설치한 후, 아래 명령어를 입력합니다. # 새로운 프로젝트를 만들 경우 poetry new my-project # 기존 프로젝트를 활용할 경우...