이번 글에서는 Transformer가 정말로 그래프 데이터에 잘 적용될 수 있는지에 대해 고찰하고, Graphormer라는 더 나은 접근을 제시한 논문에 대해 다뤄보겠습니다. 논문 원본은 이 곳에서 확인할 수 있으며, 깃헙도 참고할 수 있습니다. 본 글에서는 핵심적인 부분에 대해서만 살펴보겠습니다. Graphormer: Do Transformers Really Perform Bad for Graph Representation? 설명 1. Introduction Transformer의...

This article explains the key points of Toward Training at ImageNet Scale with Differential Privacy. 2022-01-28 (arXiv; v2 revised 2022-02-09) Kurakin, Alexey, Song, Shuang, Chien, Steve, Geambasu, Roxana, Terzis, Andreas, Thakurta, Abhradeep. Google Research, Columbia University Paper Read this article in Korean Summary The paper studies ImageNet classification with differential...

이번 글에서는 Toward Training at ImageNet Scale with Differential Privacy 논문의 핵심 포인트만 간단히 정리한다. 2022년 1월 28일(arXiv, v2 수정일 2022년 2월 9일) Kurakin, Alexey, Song, Shuang, Chien, Steve, Geambasu, Roxana, Terzis, Andreas, Thakurta, Abhradeep. Google Research, Columbia University 논문 링크 영문판 보기 요약 이 논문은 학습 데이터의 개별 사례가...

This article explains the key points of Neural Approximation of Graph Topological Features. 2022-01-28 (arXiv), 36th Conference on Neural Information Processing Systems (NeurIPS 2022) Yan, Zuoyu, Ma, Tengfei, Gao, Liangcai, Tang, Zhi, Wang, Yusu, Chen, Chao. Wangxuan Institute of Computer Technology, Peking University, IBM T. J. Watson Research Center, Halıcıoğlu...

이번 글에서는 Neural Approximation of Graph Topological Features 논문의 핵심 포인트만 간단히 정리한다. 2022년 1월 28일(Arxiv), 36th Conference on Neural Information Processing Systems (NeurIPS 2022) Yan, Zuoyu, Ma, Tengfei, Gao, Liangcai, Tang, Zhi, Wang, Yusu, Chen, Chao. Wangxuan Institute of Computer Technology, Peking University, IBM T. J. Watson Research Center,...