Chapter 27. 비전 트랜스포머(Vision Transformer, ViT)

• Chapter 27. 비전 트랜스포머(Vision Transformer, ViT)

• 27.1비전 트랜스포머의 개발 배경

• 27.2CNN과 트랜스포머의 비전 과업 적용 비교

• 27.3ViT의 전체 아키텍처 구조

• 27.4이미지 패치 분할(Image Patch Splitting)

• 27.5패치 임베딩(Patch Embedding)의 생성 과정

• 27.6분류 토큰([CLS] Token)의 역할

• 27.7위치 임베딩의 적용

• 27.8트랜스포머 인코더 블록의 적용

• 27.9분류 헤드(Classification Head)의 구조

• 27.10ViT의 사전 학습 전략과 데이터 규모

• 27.11ViT의 변형 모델(ViT-B, ViT-L, ViT-H)

• 27.12ViT의 한계와 후속 연구 방향