이 글에서는 Self-Supervised Learning(자기지도 학습)에 대해 알아본다. Self-Supervised Learning은 최근 Deep Learning 연구의 큰 트렌드 중 하나이다. Self-Supervised Learning의 기본적인 개념과 여러 편의 논문을 간략히 소개하고자 한다. Self-Supervised Learning 일반적으로 Supervised Learning(지도학습)이 높은 성능의 모델을 만드는 것이 유리하지만, 수많은 데이터에 label을 전부 달아야 한다는 점에서 데이터셋 모으기가 어려우며 따라서 활용하는...

이 글에서는 Python 패키지인 Selenium에 대해 알아본다. 파이썬으로 크롤링할 때 Beautifulsoup4와 더불어 빼놓을 수 없는 훌륭한 라이브러리이다. 고급 기술(?)까지 전부 정리했기 때문에, 처음 사용하는 사람이라면 우선 필요한 기능부터 보면 된다. 예시 코드의 일부는 Selenium Documentation의 코드를 참조하였음을 밝혀둔다. selenium 4 버전부터는 사용법이 바뀐 부분이 있다. 버전 4 이후 바뀐 점을...

이번 글에서는 Ian Goodfellow 등이 쓴 Deep Learning을 정리한다. 양이 너무 많으니… 핵심적인 부분만 적는다. Chapter 1. Introduction 발명가들은 생각할 수 있는 기계를 만드는 것을 오랫동안 꿈꿔왔다. 이는 적어도 고대 그리스부터 시작되었다. 프로그래밍 가능한 컴퓨터가 처음 생각되었을 때, 사람들은 이러한 기계들이 ‘지능적’일 수 있는지 궁금해했다. 오늘날, artificial intelligent(AI)는 많은 실용적인...

본 글에서는 VAE와 GAN을 결합한 Adversarial Autoencoder (이하 AAE)에 대한 논문을 리뷰하면서 이론에 대해 설명하고 이를 Tensorflow로 구현하는 과정을 보여줄 것이다. 이 알고리즘을 이해하기 위해서는 앞서 언급한 2가지 알고리즘에 대해 숙지하고 있어야 하며, VAE에 대해 알고 싶다면 이 글을, GAN에 대해 알고 싶다면 이 글을 참조하길 바란다. 1. Adversarial Autoencoders...

이 글에서는 2020년 5월 Tom B. Brown 등이 발표한 OpenAI GPT-3: Language Models are Few-Shot Learners를 살펴보도록 한다. GPT-3을 이용한 API가 공개되어 있다. 이 논문은 총 페이지수가 75페이지 정도는 된다.. 하지만 일부분을 제외하고 대부분 여기에 적었다. OpenAI GPT-3 - Language Models are Few-Shot Learners 논문 링크: OpenAI GPT-3 - Language...