Chapter 30. 트랜스포머 확장: 스케일링 법칙과 효율적 어텐션

• Chapter 30. 트랜스포머 확장: 스케일링 법칙과 효율적 어텐션

• 30.1스케일링 법칙(Scaling Law)의 개요

• 30.2모델 크기, 데이터 크기, 연산량의 관계

• 30.3Chinchilla 스케일링 법칙

• 30.4셀프 어텐션의 이차 복잡도 문제

• 30.5희소 어텐션(Sparse Attention)

• 30.6선형 어텐션(Linear Attention)

• 30.7FlashAttention의 원리와 구현

• 30.8슬라이딩 윈도 어텐션(Sliding Window Attention)

• 30.9KV 캐시(KV Cache)와 추론 최적화

• 30.10그룹 질의 어텐션(Grouped Query Attention)

• 30.11다중 질의 어텐션(Multi-Query Attention)

• 30.12효율적 트랜스포머의 비교 분석