JungSoo_AI_Study JungSoo_AI_Study

PMLR ReZero is All You Need: Fast Convergence at Large Depth Thomas Bachlechner∗ , Bodhisattwa Prasad Majumder∗ , Huanru Henry Mao∗ , Garrison W. Cottrell, Julian McAuley본 논문은 large depth model에서 vanishing/exploding gradient 없이 안정적이고 빠르게 수렴하는 방법에 대한 방법을 제안하는 논문이다. doi: https://arxiv.org/abs/2003.04887 ReZero is All You Need: Fast Convergence at Large DepthDeep networks often suffer from vanishi..

이번 포스팅에서는 Data-centric AI에 대해서 설명하고 이야기해보고자 한다.연구보다는 실무 쪽에서 많이 강조되고 필요로하는 패러다임이다. 그렇기 때문에 실제 AI system을 개발하고자 한다면, 알고 있어야 하는 내용이라 생각한다. 해당 글을 위해 참고한 논문 및 영상자료는 아래와 같다.1. 논문: Data-centric AI: Perspectives and ChallengesDoi: https://doi.org/10.48550/arXiv.2301.04819  Data-centric AI: Perspectives and ChallengesThe role of data in building AI systems has recently been significantly magnified by the..

Pattern RecogntionFourier-based augmentation with applications to domain generalization Qinwei Xu, Ruipeng Zhang, Ziqing Fan, Yanfeng Wang, Yi-Yan Wu, Ya Zhang본 논문은 Domain Generalization (DG)을 위해 데이터 증강 방법을 제안한 연구이다. 특히, 논문에서 Frequency 기반 증강을 수행할 때, Phase와 Amplitude의 역할을 분석하고 이를 증강 기법에 활용하는 접근법이 좋다고 생각한다. DOI: https://doi.org/10.1016/j.patcog.2023.109474 Redirecting linkinghub.elsevier.com1. Int..

Network and Distributed System Security SymposiumGet a Model! Model Hijacking Attack Against Machine Learning ModelsAhmed Samlem, Michael Backes, Yang Zhang본 논문은 Hijacking Attack 방법을 제시하는 논문이다. 해당 논문을 통해 인공지능 시스템을 제공하기 전 보안에 대해서 다시 한 번 더 생각하게 되는 논문이었다.DOI: https://doi.org/10.48550/arXiv.2111.04394 Get a Model! Model Hijacking Attack Against Machine Learning ModelsMachine learning (ML) has establ..

NeurIPS 2020Denoising Diffusion Probabilistic ModelsJonathan Ho, Ajay Jain, and Pieter Abbeel본 논문은 이미지 생성 분야에서 최초로 Diffusion 방식을 제안한 연구로, 생성형 인공지능 연구에 있어 중요한 전환점을 제시했습니다. DDPM의 등장은 이미지 생성에 혁신적인 변화를 가져왔으며, 현재 대부분의 이미지 생성 모델은 Diffusion 방식을 채택하고 있습니다. 따라서 이 개념은 이제 필수적으로 숙지해야 할 분야라고 생각합니다. DOI: https://doi.org/10.48550/arXiv.2006.11239 Denoising Diffusion Probabilistic ModelsWe present high quality ..

CVPR 2023StyleSync: High-Fidelity Generalized and Personalized Lip Sync in Style-based Generator해당 논문은 특정 audio에 맞게 특정 대상이 립싱크를 하는 영상을 생성하는 방법에 대한 논문이다.이러한 generating lip-synced video는 게임 및 영화와 같은 영상 콘텐츠를 다루는 분야에서 많이 사용을 하고 연구를 하고 있다. 평소 영상 컨텐츠 업계에 관심이 많이 흥미롭게 읽을 수 있었던 논문이었다. Doi: 10.1109/CVPR52729.2023.00151 CSDL | IEEE Computer Society www.computer.org1. Introduction[ Generating lip-synced vid..

ICCV 2023What do neural networks learn in image classification? A frequency shortcut perspective해당 논문은 기존의 deep learning model 은 classification에서 어떻게 분류를 학습하는가? 에 대한 분석을 하고 있다.Frequency의 관점에서 분석을 진행하여 기존 학습 방법에 대한 문제점을 제시하는 것이 매우 흥미롭다.Doi: https://doi.org/10.48550/arXiv.2307.09829 What do neural networks learn in image classification? A frequency shortcut perspectiveFrequency analysis is useful ..

ICLR 2021Prototypical Contrastive Learning of Unsupervised RepresentationJunnan Li, Pan Zhou, Caiming Xiong, Steven C.H. Hoi본 논문 Prototype cial Contrastive Learning (PCL)은 기존 contrastive learning에서의 문제점을 개선하고 더 효과적인 representation learning을 하기 위한 방법이다. PCL은 서로 다른 sample에서 나온 instance라도 유사한 것들끼리는 가까워지도록 학습하도록 해준다는 장점을 가지고 있다.Doi: https://doi.org/10.48550/arXiv.2005.04966 Prototypical Contrastive ..