앞으로 Paper Review 카테고리에는 논문들을 비교적 짧고 가볍게 요약하여 정리하는 글들을 올려보고자 합니다. 첫 타자는 Synthesizer라는 논문입니다. 논문 링크 Yannick Kilcher 논문 리뷰 영상 본 논문은 dot-product based self-attention이 정말 필요한가?에 대한 물음을 던지고 대안을 제시한 논문입니다. 논문에서 dot product self-attention은 sequence 내에서 single token이 다른 token과의 관계에서 갖는 상대적인...

이 글에서는 Learning to Retrieve Videos by Asking Questions 논문을 간략하게 정리한다. Learning to Retrieve Videos by Asking Questions 논문 링크: Learning to Retrieve Videos by Asking Questions 2022년 6월(Arxiv) Avinash Madasu, Junier Oliva, Gedas Bertasius Abstract 전통적인 text-to-video retrieval은 정적인(static) 환경에서만 진행되어 왔다(첫 query가 주어지고 나면 답을 찾을 때까지...

이 글에서는 Facebook AI에서 발표한 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문을 간략하게 정리한다. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 링크: BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 2019년 10월(Arxiv) Mike Lewis, Yinhan Liu, Naman...

이번 글에서는 새로운 파이썬 프로젝트를 진행하기 위한 환경을 쉽고 빠르게 구축하는 방법에 대해 서술해보겠습니다. 본 글은 윈도우를 기준으로 설명합니다. Python 프로젝트 생성하기 1. Poetry 설명 poetry는 의존성 관리와 빌드를 책임지는 라이브러리입니다. poetry를 설치한 후, 아래 명령어를 입력합니다. # 새로운 프로젝트를 만들 경우 poetry new my-project # 기존 프로젝트를 활용할 경우...

Google Research의 Minerva는 수식 표기를 보존한 기술 문서로 언어 모델을 추가 학습하고, 여러 풀이의 최종 답에 다수결을 적용하여 수학·과학 문제 해결 성능을 높인 연구이다. 논문: Solving Quantitative Reasoning Problems with Language Models 저자: Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol...