72.17 SwiGLU FFN의 차원 설계: 확장 비율(Expansion Ratio)과 파라미터 수 보존
Home
/
거대 AI 마스터클래스
/
Volume 1. 인공지능과 딥러닝의 수학적/구조...
/
Part 3. 연결주의의 태동과 딥러닝 기초 최적화
/
Chapter 72. 게이트 선형 유닛: GLU ...
/
72.17 SwiGLU FFN의 차원 설계: 확장...
72.17 SwiGLU FFN의 차원 설계: 확장 비율(Expansion Ratio)과 파라미터 수 보존