수혁지능

개요 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다.(우리가 Transformer를 알아야 하는 이유) GPT: Transformer의 Decoder 아키텍쳐 활용 BERT: Transformer의 Encoder 아키텍쳐 활용 딥러닝 기반의 기계 번역 발전 과정 기존의 Seq2Seq 모델들의 한계점 가장 기본적인 Seq2Seq 모델의 형태 context vector v에 소스 문장의 정보를 압축해야만 했음 >> bottleneck이 발생하여 성능 하락의 원인이 됨 디코더가 context vector를 매번 참고할수는 있으나, 여전히 소스 문장을 하나의 벡터에 압축해야 함 즉, 하나의 문맥 벡터가 소스 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하됨. ..

Abstract 기존까지 deep network들을 성공적으로 훈련시키려면 필연적으로 수천개 이상의 annotated된 training sample이 필요했음. 본 논문에서 제시하는 네트워크와 training 방법은 data augmentation에 focus를 하여 available한 annotated sample을 더 효과적으로 활용할 수 있게 하였음. U-Net은 context를 포착하는 contracting path와 정확한 localization을 위한 expanding path로 구성되어 있고, 이 두 path는 서로 symmetric.(localization = 이미지 안에서 bbox등을 사용하여 객체의 위치 정보를 출력해 주는 것(bbox에선 왼쪽 위, 오른쪽 아래 좌표 출력)) U-Net..

이 글은 데이터 과학을 위한 통계(앤드루 브루스)를 참고했음을 미리 밝힙니다. ​회귀의 목적 전통 통계학: for 설명을 위한 모델링 데이터 과학: for 예측 외삽(데이터 범위 초과)의 위험 회귀분석은 충분한 데이터 값이 있는 예측변수(독립변수)에 대해서만 유효하다 >> 데이터 범위를 초과하면서까지 모델을 확장하면 안된다! 신뢰구간과 예측구간 신뢰구간: 회귀계수 주변의 불확실성 정량화 / 여러 값에서 계산된 평균이나 다른 통계량과 관련. 예측구간: 개별 예측값의 불확실성 정량화/ 하나의 값에 대한 불확실성 (P개의 예측변수(X)와 n개의 레코드가 있는 데이터) 각 행(결과변수 Y 포함)을 하나의 티켓으로 생각하고 개수가 모두 N개인 티켓 박스에 넣었다고 가정 무작위로 티켓 뽑아 값을 기록하고 다시 박스..

사전지식 두 확률 변수 A,B 의 조건부확률,사전 확률,사후 확률에 대해 알아보고 베이즈 정리에 대해 살펴보자. 여기서 P(A|B)라는 조건부확률은 사건 B가 일어난 후 사건 A가 일어난 확률이다. 여기서 사건 B는 먼저 일어난 일이므로 Before라 정의하고 사건 A는 나중에 일어난 일이므로 After라고 정의한다. 조건부확률 P(B)는 사건 A가 발생하기 전 사건 B가 일어난 확률이므로 사전 확률이라 할 수 있고, P(B|A)는 사건 A가 일어났을 때 사건 B가 앞서 일어났을 확률이므로 사후 확률이라고 할 수 있다. 이 확률들은 아래 그림과 같이 '베이즈 정리'로 묶일 수 있다. 베이즈 정리 나이브 베이즈 나이브 베이브 알고리즘은 주어진 결과에 대해 예측변숫값을 관찰할 확률을 사용하여, 예측변수가 주..