트랜스포머 (Transformer)
트랜스포머(Transformer)는 2017년 구글이 발표한 논문 “Attention is All You Need“에서 처음 제안된 딥러닝 아키텍처로, 문장 속 단어 간의 관계와 중요도를 파악하는 ‘셀프 어텐션(Self-Attention)’ 메커니즘을 핵심으로 하는 모델이다. 데이터를 순차적으로 처리해야 했던 기존의 순환 신경망(RNN)과 달리, 트랜스포머는 입력된 전체 데이터를 병렬로 처리할 수 있어 학습 속도가 빠르고 긴 문맥(Context)의 의존성을 파악하는 성능이 뛰어나다. 인코더(Encoder)와 디코더(Decoder) 구조를 기반으로 하는 이 기술은 번역, 요약 등 자연어 처리(NLP) 분야의 혁신을 이끌었으며, 오늘날 BERT나 GPT와 같은 현대 거대 언어 모델(LLM)의 기술적 기반이 되었다.
연구
- Attention is All You Need (2017-06-12)
- 어텐션 메커니즘 (2017-06-12)
- 크로스 어텐션 메커니즘
- 트랜스포머 아키텍처의 Masked Attention 메커니즘
- Self-Attention Mechanism (2017-06-12)
- Scaled Dot-Product Attention (2017)
- 채널 어텐션 메커니즘 (2018)
- 하이브리드 어텐션 메커니즘 (2018)
- 희소 어텐션 (Sparse Attention, 2019-02)
- MQA (대규모 언어 모델의 추론 효율성을 위한 어텐션, Multi-Query Attention, 2019-11-06)
- 리포머 (Reformer, 2020-01)
- 선형화 어텐션 메커니즘
- 린포머 (Linformer, 2020-06)
- Prototypical Cross-Attention Network (PCAN, 2021-03-24)
- Perceiver IO (2021-07-30)
- Mask2Former 범용 이미지 분할을 위한 마스크 어텐션 트랜스포머 (2021-12-02)
- Tgate (Temporally Gating the Attention, 2022-03-15)
- FlashAttention (IO Aware 어텐션)
- 다변량 시계열 예측 교차 차원 의존성 활용 트랜스포머 (Crossformer, 2023-01-20)
- GQA (대규모 언어 모델의 추론 효율성을 위한 어텐션, Grouped Query Attention, 2023-05-22)
- 링 어텐션(Ring Attention)과 무한 컨텍스트 아키텍처 (2025-10-03)
- LV-XAttn (Long Visual 분산 교차-어텐션, 2025-02-04 )