Chapter 21. 셀프 어텐션(Self-Attention) 메커니즘

• Chapter 21. 셀프 어텐션(Self-Attention) 메커니즘

• 21.1어텐션 메커니즘의 기원과 동기

• 21.2셀프 어텐션의 정의와 기본 개념

• 21.3질의(Query), 키(Key), 값(Value) 벡터의 구성

• 21.4스케일드 내적 어텐션(Scaled Dot-Product Attention)

• 21.5어텐션 가중치의 계산과 소프트맥스 정규화

• 21.6어텐션 행렬의 해석

• 21.7셀프 어텐션과 순환 신경망의 비교

• 21.8셀프 어텐션의 병렬 연산 특성

• 21.9셀프 어텐션의 계산 복잡도 분석

• 21.10마스크드 셀프 어텐션(Masked Self-Attention)

• 21.11교차 어텐션(Cross-Attention)의 개념