본 글에서는 정보 이론과 관련이 있는 Kullback-Leibler Divergence와 이를 기반으로 한 Variational Inference에 대해 간략히 정리해보고자 한다. 시작에 앞서, 변분 추론은 근사 추정의 대표적인 방법이라는 점을 밝히고 싶으며, 본 글에서 소개된 변분 추론 기법은 Vanilla Variational Inference라고 부를 수 있는 CAVI이다. CAVI의 단점을 보완한 다양한 변분 추론 기법들이 연구되었으며 이에...

Gaussian Process에 대해 알아보자! Gaussian Process는 Random(Stochastic) Process의 한 예이다. 이 때 Random Process는 시간이나 공간으로 인덱싱된 Random Variable의 집합을 의미한다. GP의 정의는 아래와 같다. Stochastic process such that every finite collection of those random variables has a multivariate normal distribution. 이는 또한 이 Random Variable들의 선형 결합 일변량 정규분포를...

이번 글에서는 Weight & Biases라고 하는, machine learning을 위한 개발 tool을 소개하고자 한다. Tensorflow의 Tensorboard와 비슷한데, 이 도구는 tensorflow나 pytorch 등 여러 flatform에서 사용가능한 것이 특징이다. Dashboard, Sweeps, Artifacts 기능을 지원한다. 이 글에서는 PyTorch를 기준으로 설명한다. 그러나, Tensorflow에서의 사용법도 크게 다르지 않으니 참고하자. 초기 설정 먼저 홈페이지에 들어가서 회원가입을 하자....

본 글에서는 2014년에 Spotify에서 소개한 알고리즘인 Logistic Matrix Factorization에 대해 설명할 것이다. 먼저 논문 리뷰를 진행한 후, Implicit 라이브러리를 통해 학습하는 과정을 소개할 것이다. 논문 원본은 이곳에서 확인할 수 있다. 1. Logistic Matrix Factorization for Implicit Feedback Data 논문 리뷰 웹 상에서 얻을 수 있는 데이터는 대부분 암시적 피드백의 형태이기...

본 글에서는 2015년에 Lyst에서 발표한 Hybrid Matrix Factorization Model인 LightFM에 관한 내용을 다룰 것이며 순서는 아래와 같다. 1) 논문 요약 리뷰 2) LightFM 라이브러리 사용법 소개 3) HyperOpt를 이용한 Hyperparameter 튜닝법 소개 1. Metadata Embeddings for User and Item Cold-start Recommendations 논문 리뷰 1.1. Introduction cold-start 상황에서 추천 시스템을 만드는...