이번 글에서는 PinnerSage 논문의 핵심 포인트만 간추려서 기술합니다. 논문 링크 본 논문은 multi-embedding based user representation scheme에 대한 내용을 담고 있습니다. 논문에서는 기존 연구에서 한계점으로 다음 내용들을 언급합니다. user-item을 같은 공간에 임베딩했을 때 item은 보통 1가지 종류를 갖는데 반해(예: 영화), 고 품질의 user embedding은 user의 다양한 취미, 스타일, 흥미를 반영해야...

DropoutNet: Addressing Cold Start in Recommender Systems는 기존 추천 모델이 학습한 preference 표현과 content를 함께 받아, 상호작용 이력이 없는 사용자·아이템도 추천할 수 있도록 학습하는 모델입니다. 발표: NIPS 2017 저자: Maksims Volkovs, Guangwei Yu, Tomi Poutanen 소속: layer6.ai 논문 정보, 원문 PDF 저자 구현 요약 Cold start는 새로운 사용자나 아이템의 상호작용...

Generalized Out-of-Distribution Detection: A Survey는 anomaly detection, novelty detection, open set recognition, OOD detection, outlier detection의 문제 정의와 방법을 비교한다. 각 분야에서 어떤 데이터를 정상으로 정의하며 무엇을 검출하는지 정리한 논문이다. 논문: Generalized Out-of-Distribution Detection: A Survey 저자: Jingkang Yang, Kaiyang Zhou, Yixuan Li, Ziwei Liu 소속: S-Lab, Nanyang Technological University;...

Linformer: Self-Attention with Linear Complexity는 key와 value를 시퀀스 축으로 압축하여 self-attention의 계산량과 메모리 사용량을 줄이는 논문입니다. 공개: 2020년 6월, arXiv preprint. 아래 설명은 v3를 기준으로 합니다. 저자: Sinong Wang, Belinda Z. Li, Madian Khabsa, Han Fang, Hao Ma 소속: Facebook AI, Seattle 논문 정보, 원문 PDF 비공식 PyTorch 구현 요약...

이번 글에서는 Fastformer 논문에 대해 간략히 다뤄 보겠습니다. 논문 링크 lucidrians github 본 논문은 self-attention의 pairwise interaction 모델링 구조가 굳이 필요한 것인가에 대해 의문을 제시하고 중첩된 additive attention 메커니즘을 통해 충분히 경쟁력 있는 모델을 구현할 수 있다고 주장합니다. 논문 도입부에 나온 줄 글만 봤을 때는 복잡한 과정을 거치는 것으로 생각이...