이 글에서는 2021년 4월 arXiv에 올라온 VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문을 살펴보고자 한다. 중요한 부분만 적을 예정이므로 전체가 궁금하면 원 논문을 찾아 읽어보면 된다. VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text 논문 링크: VATT: Transformers for Multimodal...

이 글에서는 Baidu에서 만든 모델 시리즈 ERNIE 중 다섯 번째(ERNIE 3.0: Large-Scale Knowledge Enhanced Pre-Training For Language Understanding And Generation)를 살펴보고자 한다. ERNIE 시리즈는 다음과 같다. 참고로 2번째는 Baidu가 아닌 Tshinghus University에서 발표한 논문이다. ERNIE: Enhanced Representation through Knowledge Integration, Yu sun el al., 2019년 4월 ERNIE 2.0: A Continual...

이 글에서는 Baidu에서 만든 모델 시리즈 ERNIE 중 네 번째(ERNIE-Doc: A Retrospective Long-Document Modeling Transformer)를 살펴보고자 한다. ERNIE 시리즈는 다음과 같다. 참고로 2번째는 Baidu가 아닌 Tshinghus University에서 발표한 논문이다. ERNIE: Enhanced Representation through Knowledge Integration, Yu sun el al., 2019년 4월 ERNIE 2.0: A Continual Pre-training Framework for Language Understanding,...

이 글에서는 Baidu에서 만든 모델 시리즈 ERNIE 중 세 번째(ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph)를 살펴보고자 한다. ERNIE 시리즈는 다음과 같다. 참고로 2번째는 Baidu가 아닌 Tshinghus University에서 발표한 논문이다. ERNIE: Enhanced Representation through Knowledge Integration, Yu sun el al., 2019년 4월 ERNIE 2.0: A Continual Pre-training Framework for...

이 글에서는 Baidu에서 만든 모델 시리즈 ERNIE 중 두 번째(ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding)를 살펴보고자 한다. ERNIE 시리즈는 다음과 같다. 참고로 2번째는 Baidu가 아닌 Tshinghus University에서 발표한 논문이다. ERNIE: Enhanced Representation through Knowledge Integration, Yu sun el al., 2019년 4월 ERNIE 2.0: A Continual Pre-training Framework...