이 글에서는 Contrastive Learning을 간략하게 정리한다. Contrastive Learning 어떤 item들의 “차이”를 학습해서 그 rich representation을 학습하는 것을 말한다. 이 “차이”라는 것은 어떤 기준에 의해 정해진다. Contrastive Learning은 Positive pair와 Negative pair로 구성된다. 단, Metric Learning과는 다르게 한 번에 3개가 아닌 2개의 point를 사용한다. 한 가지 예시는, 같은 image에 서로 다른...

이 글에서는 Metric Learning을 간략하게 정리한다. Metric Learning 한 문장으로 요약하면, Object간에 어떤 거리 함수를 학습하는 task 이다. 예를 들어 아래 이미지들을 보자. 뭔가 “이미지 간 거리”를 생각해보면, 1번째 이미지와 2번째 이미지는 거리가 가까울 것 같다. 이와는 대조적으로, 3번째 이미지는 다른 두 개의 이미지보다 거리가 멀 것 같다. 이런 관계를...

이 글에서는 Attention 기반 Video (Classification) Model을 간략히 소개한다. Multi-LSTM 논문 링크: Every Moment Counts: Dense Detailed Labeling of Actions in Complex Videos LRCN과 비슷하다. 다른 점은, Multiple Input: LSTM에 입력이 1개의 frame이 아니라 N개의 최근 frame에 대해 attention을 적용한다. Query: LSTM의 이전 hidden state $h_{i-1}$ Key=value: $N$개의 input frame...

이 글에서는 RNN 기반 Video Classification Model을 간략히 소개한다. RNN 기반 모델은 single embedding으로 전체 seq를 인코딩하므로 정보의 손실이 입력이 길어질수록 커진다. 또 처음에 들어온 입력에 대한 정보는 점점 잊혀지는 단점이 있다. 이는 Attention Is All You Need 이후 발표되는 Attention 기반 모델에서 개선된다. LRCN: Long-term Recurrent Convolutional Network 논문...

이번 글에서는 Alibaba에서 발표한 추천시스템 알고리즘인 BST에 대해 다뤄보도록 하겠습니다. 논문 원본은 이 곳에서 확인할 수 있습니다. 본 글에서는 핵심적인 부분에 대해서만 살펴보겠습니다. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba 설명 1. Background Alibaba는 Taobao라고 하는 거대한 쇼핑몰을 갖고 있는데, 본 논문은 이 Taobao에서 발생한 로그의 일부를 효과적으로 활용하여...