수혁지능

개요 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다.(우리가 Transformer를 알아야 하는 이유) GPT: Transformer의 Decoder 아키텍쳐 활용 BERT: Transformer의 Encoder 아키텍쳐 활용 딥러닝 기반의 기계 번역 발전 과정 기존의 Seq2Seq 모델들의 한계점 가장 기본적인 Seq2Seq 모델의 형태 context vector v에 소스 문장의 정보를 압축해야만 했음 >> bottleneck이 발생하여 성능 하락의 원인이 됨 디코더가 context vector를 매번 참고할수는 있으나, 여전히 소스 문장을 하나의 벡터에 압축해야 함 즉, 하나의 문맥 벡터가 소스 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하됨. ..

Abstract 기존까지 deep network들을 성공적으로 훈련시키려면 필연적으로 수천개 이상의 annotated된 training sample이 필요했음. 본 논문에서 제시하는 네트워크와 training 방법은 data augmentation에 focus를 하여 available한 annotated sample을 더 효과적으로 활용할 수 있게 하였음. U-Net은 context를 포착하는 contracting path와 정확한 localization을 위한 expanding path로 구성되어 있고, 이 두 path는 서로 symmetric.(localization = 이미지 안에서 bbox등을 사용하여 객체의 위치 정보를 출력해 주는 것(bbox에선 왼쪽 위, 오른쪽 아래 좌표 출력)) U-Net..

Abstract Image restoration은 오랫동안 지속되어온 low-level vision problem으로서, low-quality images로부터 high-quality images를 복원해내는 작업이다. SOTA 모델이 CNN-based인 상황에서, high-level vision task에서 impressive한 performance를 보여주던 Transformer를 Image restoration에 적용해보려는 시도가 있었다. 이 논문에서는, Swin Transformer를 기반으로 한 image restoration 방식인 SwinIR을 제안한다. SwinIR은 크게 3가지 파트로 나뉜다. Shallow feature extraction Deep feature extraction s..

Abstract 본 논문에서는 적대적 과정을 통해 generative model을 추정하는 새로운 framework를 제안하였다. 데이터의 분포를 포착하는 생성자 G와 sample이 G가 아닌 training data로부터 나왔을 확률을 추정하는 판별자 D가 동시에 train되는 것이 핵심이다. G는 D가 실수를 할 확률을 최대화하는 방향으로 학습되고 D는 그 실수를 최대한 줄이려는 방향으로 학습된다. 즉, 게임이론의 한종류인 minimax two-player game(추정되는 최대의 손실을 최소화하는 기법, 서로 최선의 선택을 한다고 가정)으로 귀결된다. 이 게임에서는 G가 training data distribution을 갖게되고, D가 sample을 맞게 분류할 확률이 1/2에 도달하게 되는 un..