attention algorithm
-
Self-attention does not need O(n^2) memoryAI/Vision 2023. 5. 23. 12:54
ArxivSelf-attention does not need O(n^2) memoryGoogle ResearchAttention is all you need를 통해서 소개된 self-attention은 transformer model의 core이며 엄청난 성능을 보여주고 있다.이를 활용하여 NLP 분야에서는 GPT가 등장하였으며 vision 분야에서는 vision transformer(ViT)의 등장으로 기존의 cnn을 능가하는 성능을 보이고 있다. 그러나 self-attention은 O(n^2) 만큼의 시간복잡도와 공간복잡도를 요구한다는 큰 문제점을 가지고 있다. 그중 본 논문은 공간복잡도를 개선하는 방법을 소개하는 논문이다. 기존 수식의 변화 없이, 즉 기존 self-attnetion 메커니즘에는 변..