VIT
-
Vision Transformer with Deformable AttentionAI/Vision 2023. 9. 14. 15:49
CVPR 2022Vision Transformer with Deformable AttentionTsinghua Univ, AWS AI (Amazon), Beijing Academy of Artificial IntelligenceDeformable mechanism을 이용하여 주요 영역을 쉽게 찾고 computational complexity를 줄이기 위해 제안한 attention 방법이다.ViT를 활용한 실험을 진행하며 학습 시간이 너무 오래 걸리고 메모리를 너무 많이 필요로 하는 문제점에 직면하였다. 이를 개선해 보기 위해 방법을 찾던 도중 발견한 논문이다. deformable mechanism을 통해 target object를 더 효율적으로 포착할 수 있으며 vomputatonal cost를 많이 높..
-
ConvMixer : PATCHES ARE ALL YOU NEED?AI/Vision 2023. 5. 8. 14:10
Arxiv CONVOLUTIONS ATTENTION MLPs PATCHE ARE ALL YOU NEED? Asher Trockman, J. Zico Kolter1 이 논문은 vision transformer(ViT)의 성능 향상의 근본적인 원인을 찾고 그것을 convolution으로 해결하기 위한 방법을 제시한 논문이다. 이들이 말하는 ViT의 성능 향상의 원인은 patch 단위로 이미지를 처리하는 것으로 이를 실험적으로 증명하고 이를 활용한 간단한 하지만 강력한 모델인 ConvMixer를 제안한다. Doi : https://doi.org/10.48550/arXiv.2201.09792 Patches Are All You Need? Although convolutional networks have been..
-
Emerging Properties in Self-Supervised Vision TransformerAI/Vision 2022. 9. 29. 18:01
ICCVEmerging Properties in Self-Supervised Vision TransformerMathilde Caron (1,2), Hugo Touvron (1,3), Ishan Misra (1), Herve Jegou (1), Julien Mairal (2), Piotr Bojanowski (1), Armand Joulin (1) 본 논문은 Facebook AI Research 에서 ICCV에 제출한 논문으로 효율적인 Vsion Transformer(ViT) 학습을 위해 knowledge distillation 사용하는 frame work를 제안한 논문 입니다.원본 논문 DOI : https://doi.org/10.48550/arXiv.2104.14294 Emerging Propert..