이 글에서는 2017년 NIPS에 게재된 Neural Discrete Representation Learning(흔히 VQ-VAE라 부른다) 논문을 살펴보고자 한다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. Neural Discrete Representation Learning 논문 링크: Neural Discrete Representation Learning Github(not official?): https://github.com/1Konny/VQ-VAE 2017년 11월, NIPS 2017 DeepMind Aaron van den Oord, Oriol Vinyals, Koray...

딥러닝 데이터셋은 사전학습, 지시 수행 학습, 성능 평가 등 용도에 따라 구분한다. 평가 문제와 풀이가 학습 자료에 포함되면 평가 점수에 암기 효과가 반영될 수 있다. 이미지·음성·추천 데이터에서도 학습 자료와 평가 자료의 중복이 일반화 성능 측정에 영향을 준다. 2026년 9월 6일을 기준으로 공개 모델의 학습 자료, 주요 평가 도구가 지원하는 벤치마크,...

이 글에서는 Margin-based Loss를 정리한다. Margin-based Loss 간단하게는 true target $y$와 prediction result $\hat{y}$의 곱 $y\hat{y}$을 갖고 계산하는 loss라고 생각할 수 있다. Distance-based Loss와는 다르게, true target과 prediction 사이의 차이(difference)에 대해 신경 쓰지 않는다. 대신, target의 sign과 얼마나 잘 agree(혹은 일치)하는지에 기반한 prediction을 penalize한다. Margin-based Loss는 단 하나의 변수 $v...

이 글에서는 ImageNet Challenge에서 2012~2015년까지 좋은 성능을 낸 대표적인 모델인 AlexNet, ZFNet, VGG, GoogLeNet(InceptionNet), ResNet을 살펴본다. ImageNet에서 사람의 오류율(이미지 class를 잘못 분류한 비율)은 5.1%로 나와 있음을 참고한다. 각각에 대해 간단히 설명하면, AlexNet: ImageNet Challenge에서 사실상 최초로 만든 Deep Neural Network 모델이다(이전에는 Shallow model이 대세였다). 2012년, 8 layers, 오류율 16.4%. ZFNet:...

이번 글에서는 HGT란 알고리즘에 대해 다뤄보겠다. 상세한 내용은 논문 원본을 참고하길 바라며, 본 글에서는 핵심적인 부분에 대해 요약 정리하도록 할 것이다. 저자의 코드는 Github에서 확인할 수 있다. Heterogeneous Graph Transformer 설명 1. Background 기존의 많은 GNN이 Homogenous Graph에만 집중된 것에 반해, HGT는 여러 node type, edge type을 가진 Heterogenous Graph...