이 글에서는 Baidu에서 만든 모델 시리즈 ERNIE 중 첫 번째(ERNIE: Enhanced Representation through Knowledge Integration)를 살펴보고자 한다. ERNIE 시리즈는 다음과 같다. 참고로 2번째는 Baidu가 아닌 Tshinghus University에서 발표한 논문이다. ERNIE: Enhanced Representation through Knowledge Integration, Yu sun el al., 2019년 4월 ERNIE 2.0: A Continual Pre-training Framework for Language Understanding,...

본 글에서는 2018년에 발표된 How Powerful are Graph Neural Networks라는 논문에 대한 Review를 진행할 것이다. 본 논문에서는 Graph Neural Network에서 거의 필수적으로 진행되는 Aggregation 과정에서의 문제점을 지적하고 이를 해결할 방법으로 Graph Isomorphism Network를 제시하고 있다. 앞으로 상세히 설명할 Aggregation 과정에서의 문제는 필자 역시 GraphSAGE 기반 알고리즘을 사용하면서 경험적으로 느껴왔던 부분이기에...

본 글에서는 2017년에 발표된 Graph Attention Networks라는 논문에 대한 Review를 진행할 것이다. 다방면에서 적용되는 Attention 개념을 Graph 구조의 데이터에 적용하는 초석을 마련한 논문이라고 할 수 있겠다. 자세한 내용은 논문 원본에서 확인하길 바라며 본 글에서는 핵심적인 부분만 다루도록 하겠다. torch_geomectric을 이용하여 GAT를 사용하는 방법에 대해서 간단하게 Github에 올려두었으니 참고해도 좋을 것이다....

이 글에서는 Python 라이브러리인 time과 datetime에 대해 알아본다. 가끔 쓰는데 막상 쓰려면 언제 봐도 헷갈리는 라이브러리 중 하나인 듯 하다. 추가로 numpy와 pandas에서 사용하는 datetime64에 대해서도 정리한다. Import import time import datetime 공통적으로, strptime()은 str을 datetime 객체로, strftime()은 datetime을 str로 바꿔준다. time 현재 시각: time.time() 1970년 1월 1일 0시 0분...

이 글에서는 ubuntu terminal에서 사용하는 명령어를 정리한다. Ctrl + F로 원하는 명령어를 검색하면 좋다. 파일 탐색 관련 ls 기본 옵션 심심하면 입력하는 기본 명령 ls 상세히 출력하기 # -l 옵션은 파일 권한, 생성/수정한 user, 파일 크기, 수정 시각 등의 자세한 옵션을 표시한다. # -h 옵션은 -l과 같이 쓰면 파일 크기를...