이번 글에서는 BERT 구조를 차용하여 추천 알고리즘을 구성해본 Bert4Rec이란 논문에 대해 다뤄보겠습니다. 논문 원본은 이 곳에서 확인할 수 있습니다. 본 글에서는 핵심적인 부분에 대해서만 살펴보겠습니다. Bert4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer 설명 1. Background RNN을 필두로 한 left-to-right unidirectional model은 user behavior sequence를 파악하기에 충분하지 않습니다. 왜냐하면...

이번 글에서는 Heterogenous Network에서 node representation을 학습하는 metapath2vec이란 논문에 대해 다뤄보겠습니다. 논문 원본은 이 곳에서 확인할 수 있습니다. 본 글에서는 핵심적인 부분에 대해서만 살펴보겠습니다. 그리고 관련하여 학습/분석 코드는 이 곳에 작성해두었으니 참고하셔도 좋을 것 같습니다. metapath2vec: Scalable Representation Learning for Heterogeneous Networks 설명 1. Introduction word2vec 기반의 network representation learning...

이 글에서는 ViT(Vision Transformer) 논문을 간략하게 정리한다. ViT(An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale) 논문 링크: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Github: https://github.com/google-research/vision_transformer 2020년 10월, ICLR 2021 Google Research, Brain Team Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk...

이 글에서는 Transformer를 기반으로 Vision 문제를 푸는 모델인 ViViT(Video ViT: ViViT - A Video Vision Transformer), MTN, TimeSFormer, MViT 논문을 간략하게 정리한다. ViT(An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale) 논문 링크: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Github: https://github.com/google-research/vision_transformer...

이 글에서는 Contrastive Learning을 간략하게 정리한다. Contrastive Learning 어떤 item들의 “차이”를 학습해서 그 rich representation을 학습하는 것을 말한다. 이 “차이”라는 것은 어떤 기준에 의해 정해진다. Contrastive Learning은 Positive pair와 Negative pair로 구성된다. 단, Metric Learning과는 다르게 한 번에 3개가 아닌 2개의 point를 사용한다. 한 가지 예시는, 같은 image에 서로 다른...