20.4 효율적인 아키텍처: SLM과 MoE (Efficient Architectures: SLMs & Mixture of Experts)

Home / 로봇, 자율주행을 위한 Embodied AI & Modern Control / Chapter 20. 파운데이션 모델의 경량화와 엣지 배포 (Efficient Deployment) / 20.4 효율적인 아키텍처: SLM과 MoE (Efficient Architectures: SLMs & Mixture of Experts)

20.4 효율적인 아키텍처: SLM과 MoE (Efficient Architectures: SLMs & Mixture of Experts)

  • 20.4 효율적인 아키텍처: SLM과 MoE (Efficient Architectures: SLMs & Mixture of Experts)
  • 20.4.1 SLM(Small Language Models)의 부상: Phi, Gemma, MobileVLM 사례
  • 20.4.2 전문가 혼합 모델(MoE)을 통한 추론 비용 절감
  • 20.4.3 트랜스포머의 대안: 선형 어텐션(Linear Attention)과 SSM(Mamba) 기반 로봇 제어

Generated by Rust Site Gen