JungSoo_AI_Study JungSoo_AI_Study

Arxiv CONVOLUTIONS ATTENTION MLPs PATCHE ARE ALL YOU NEED? Asher Trockman, J. Zico Kolter1 이 논문은 vision transformer(ViT)의 성능 향상의 근본적인 원인을 찾고 그것을 convolution으로 해결하기 위한 방법을 제시한 논문이다. 이들이 말하는 ViT의 성능 향상의 원인은 patch 단위로 이미지를 처리하는 것으로 이를 실험적으로 증명하고 이를 활용한 간단한 하지만 강력한 모델인 ConvMixer를 제안한다. Doi : https://doi.org/10.48550/arXiv.2201.09792 Patches Are All You Need? Although convolutional networks have been..

인간이 가지고 있는 지적 능력을 컴퓨터에서 구현하는 다양한 기술이나 소프트웨어, 컴퓨터 시스템 등을 통틀어 일컫는 말즉, 간단히 말해서 AI는 인간처럼 사고하고 행동하는 컴퓨터를 만들려고 한다. 인공지능 (AI, Artifical Intelligence) 인간이 해야 할 일을 기계가 대신할 수 있는 모든 자동화에 해당 즉, 지능적인 인간의 행동을 모방하는 기계의 능력을 의미한다. 머신 러닝 (Machine Learning) 시스템이 경험을 통해 자동으로 학습하고 개설할 수 있도록 하는 AI의 Application 중 하나이다. 명시적으로 규칙을 프로그래밍하지 않으며 데이터로부터 의사결정을 위한 패턴을 스스로 학습한다. 뇌의 정보..

현재 인공지능 개발과 연구가 활발히 이루어지고 있으며 사용자에게 배포되고 있는 많은 서비스에도 인공지능이 탑재가 필수가 되어가고 있다.좋은 인공지능 개발자 및 연구자가 되기 위해서는 어떻게 해야할까?인공지능 개발을 위해서 수학부터 시작해 컴퓨터 과학의 근간들, 즉 나아가서 이 위에 인공지능 지식을 함양하지 않으면 무너지기 쉽다. 결국 인공지능 또한 컴퓨터 프로그래밍을 이용해서 만들어지는 것이기 때문에 컴퓨터 과학에 대한 지식이 매우 중요하다. 1. Data Structures (자료구조) ?자료구조란 말그대로 자료의 구조를 의미한다.그래서 자료구조를 이루는 것들은 말그대로의 자료의 그 값들이다. 컴퓨터 과학에서 효율적인 접근 및 수정을 가능케 하는 자료의 조직, 관리, 저장을 의미하며 더 정확히 말해, ..

CVPR Invariant Information Clustering for Unsupervised Image Classification and Segmentation Xu Ji, Joao F. Henriques, Andrea Vedaldi University of Oxford 지도학습의 학습된 task에 대해서 좋은 성능을 가진다는 것은 이미 많은 연구를 통해서 알려진 사실이다. 그러나 Labelled data를 구하기 힘든 분야의 경우 데이터가 충분하지 않아 학습이 어렵고 성능이 현저히 떨어진다는 문제점이 있다. 이런 문제를 개선하기 위해서 요즘 semi-supervised, self-supersied와 unsupervised의 연구가 활발히 이루어지고 있다. 또한 개인적으로 AI의 기술 개발의 마지막..

NeurlPS2019 Graph Transformer Networks Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang, Hyunwoo J. Kim Koera University 본 논문은 GNN(Graph Neural Netowrk)에 관한 기술로 기존의 homogeneous graph를 처리하는 것에 초점이 맞추어져 있던 GNN을 heterogeneous graph에서 적절하게 사용하기 위한 방법을 제시한 논문이다. Transformer에서 사용되던 self-attention과 비슷한 구조를 사용하여 문제를 해결하기 위한 방법을 제시하였다. 다양한 분야에서 graph structure를 접목해서 사용하기에 좋은 방법이라 생각한다. DoI : https:/..

NATUREImproved protein structure prediction using potentials form deep learningGoogle DeepMind이번에 리뷰할 논문은 Improved protein structure prediction using potentials form deep learning이다.AlphaFold라고 불리는 model을 제안한 논문이다.CASP(Critical Assessment of Structure Prediction) 대회에서 1등을 차지하였으며 이후 나온 AlphaFold 2는 압도적인 성능차이로 작년 대회에서 1등을 차지하였다.AlphaFold 2 를 리뷰하기 전 우선 AlphaFold 1에 대해서 알아보자.doi : 10.1038/s41586-019..

arXiv Hierarchical Graph Pooling with Structure Learning Zhen Zhang1 , Jiajun Bu1 , Martin Ester2 , Jianfeng Zhang3 , Chengwei Yao1 , Zhi Yu1 , Can Wang1 본 논문은 graph neural networks(GNN)에서 pooling을 적용하기 위한 논문으로 node간의 중요한 연결은 유지하면서 약한 연결은 제거하고, 계산량이 너무 많아지지 않는 방법을 제안한 논문이다. Graph structure는 기존에 사양되던 분야를 넘어 Vision Graph Neural Network (ViG) 등의 등장으로 vision 분야에도 활용을 하기위한 연구가 활발하다. grpah를 통해 image의 ..

Naver D2 강의를 듣고 정리한 내용입니다.강의 주소 : https://www.youtube.com/@naverd2848 naver d2NAVER D2(https://d2.naver.com)의 공식 YOUTUBE 채널입니다.www.youtube.com1. Probelm definition 1.1 Drug discovery processDrug discvoery의 pipeline은 크게 위와 같이 두 가지로 나눌 수 있다.위 그림에서의 색깔 영역(초록과 노란색 영역)이 의미하는 다음과 같다.초록색 : Physical(실험관) or computer based(in-silico) experience노란색 : 동물이나 사람에게 실험 (임상 실험) 초록색에 해당하는 실험관과 컴퓨팅 기반의 실험으로 실험해볼만한..