Chapter 53. 사전 학습(Pre-training) 전략

• Chapter 53. 사전 학습(Pre-training) 전략

• 53.1사전 학습의 정의와 목적

• 53.2자기회귀(Autoregressive) 사전 학습

• 53.3마스크 언어 모델링(Masked Language Modeling)

• 53.4다음 문장 예측(Next Sentence Prediction)

• 53.5사전 학습 데이터의 수집과 정제

• 53.6대규모 학습 코퍼스의 구성

• 53.7학습 데이터의 중복 제거와 품질 필터링

• 53.8사전 학습의 하이퍼파라미터 설정

• 53.9대규모 분산 학습(Distributed Training) 전략

• 53.10모델 병렬 처리(Model Parallelism)

• 53.11파이프라인 병렬 처리(Pipeline Parallelism)

• 53.12사전 학습의 수렴 모니터링과 체크포인트 관리