이번 글에서는 Gated Transformer Networks for Multivariate Time Series Classification 논문의 핵심 포인트만 간추려서 기술합니다. 논문 링크 본 논문에서는 MTS(Multivariate Time Series) 문제를 풀기 위해 transformer 구조를 활용하는 방법에 대해 기술하고 있습니다. Multivariate Time Series task의 핵심은 stpe-wise(temporal) 정보와 channel-wise(spatial) 정보를 모두 잘 포착하는 것입니다. 본 논문은 step-wise encoder와 channel-wise...

이번 글에서는 Transformers without Tears(Improving the Normalization of Self-Attention) 논문의 핵심 포인트만 간추려서 기술합니다. 논문 링크 본 논문에서는 Transformer에서 사용되는 Normalization layer를 개선하는 방법에 대해 기술하고 있습니다. 논문에서 여러 내용을 다루고 있지만 핵심 포인트는 2가지 입니다. 일단 normalization layer는 PRENORM이어야 한다는 것입니다. original Transformer에서는 POSTNORM을 사용하고 있는데, 실험 결과를 보면...

이번 글에서는 Recommendation for new users & items via randomized training and M-o-E transformation 논문의 핵심 포인트만 간추려서 기술합니다. 논문 링크 본 논문에서는 일반적인 CF 구조의 문제를 3가지로 지적합니다. 최종 loss는 CF loss + Transformation loss로 이루어지는데, separate-training (user/item representation을 별도로 학습) 방법의 경우 이를 따로 따로 학습하다 보니 괴리가...

이번 글에서는 PinnerSage 논문의 핵심 포인트만 간추려서 기술합니다. 논문 링크 본 논문은 multi-embedding based user representation scheme에 대한 내용을 담고 있습니다. 논문에서는 기존 연구에서 한계점으로 다음 내용들을 언급합니다. user-item을 같은 공간에 임베딩했을 때 item은 보통 1가지 종류를 갖는데 반해(예: 영화), 고 품질의 user embedding은 user의 다양한 취미, 스타일, 흥미를 반영해야...

DropoutNet: Addressing Cold Start in Recommender Systems는 기존 추천 모델이 학습한 preference 표현과 content를 함께 받아, 상호작용 이력이 없는 사용자·아이템도 추천할 수 있도록 학습하는 모델입니다. 발표: NIPS 2017 저자: Maksims Volkovs, Guangwei Yu, Tomi Poutanen 소속: layer6.ai 논문 정보, 원문 PDF 저자 구현 요약 Cold start는 새로운 사용자나 아이템의 상호작용...