본 보고서는 사용자의 질의 “CVTNet: Cross-View Geo-localization with Deformable Transformers (CVPR 2023)”에 대한 심층적이고 전문적인 분석을 제공하는 것을 목표로 한다. 분석에 앞서, 연구의 정확한 맥락을 설정하기 위해 몇 가지 핵심 정보를 명확히 할 필요가 있다. 사용자가 질의한 논문의 정확한 제목은 “CVTNet: A Cross-View Transformer Network for Place Recognition Using LiDAR Data”이며, 이는 2023년 컴퓨터 비전 및 패턴 인식 학회(CVPR)가 아닌 저명한 국제 저널인 IEEE Transactions on Industrial Informatics (TII)에 게재되었다.1
또한, 이 논문의 핵심 기술은 ‘Deformable Transformer’가 아니라, ‘Intra-Transformer’와 ‘Inter-Transformer’라는 두 가지 유형의 트랜스포머 모듈을 독창적으로 조합하여 사용하는 것이다.3 본 보고서는 이 실제 아키텍처를 상세히 분석하고, 사용자의 관심사를 충족시키기 위해 Deformable Transformer에 대한 별도의 설명을 제공하여 두 기술의 차이점을 명확히 할 것이다. 마지막으로, ‘CVTNet’은 Cross-View Transformer Network의 약자이며, 이는 ‘CvT (Convolutional vision Transformer)’라는 별개의 아키텍처와는 무관함을 밝혀 혼동을 방지한다.4 이러한 명확화를 통해 본 보고서는 CVTNet의 기술적 기여를 정확하게 평가하고 그 중요성을 심도 있게 탐구할 것이다.
LiDAR 기반 장소 인식(LiDAR-based Place Recognition, LPR)은 자율주행차나 모바일 로봇과 같은 자율 시스템이 GPS 신호가 불안정하거나 수신 불가능한 환경에서 이전에 방문했던 장소를 재인식할 수 있도록 하는 핵심 기술이다.3 이는 단순히 현재 위치를 파악하는 것을 넘어, 시스템의 장기적인 자율성과 안정성을 보장하는 데 필수적인 역할을 한다.
LPR의 가장 중요한 응용 분야 중 하나는 동시적 위치 추정 및 지도 작성(Simultaneous Localization and Mapping, SLAM) 시스템에서의 루프 폐쇄 검출(loop closure detection)이다.7 로봇이 장시간 동안 넓은 영역을 탐색하며 지도를 작성할 때, 누적되는 오차로 인해 지도가 왜곡될 수 있다. 이때 LPR을 통해 과거에 방문했던 위치를 정확히 인식하면, 이 정보를 바탕으로 누적된 오차를 보정하고 일관성 있는 지도를 생성할 수 있다. 또한, 시스템이 비활성화되었다가 다시 시작되거나 위치를 잃어버렸을 때, LPR은 사전에 구축된 지도 내에서 현재 위치를 신속하게 재설정하는 전역 재인식(global re-localization)을 가능하게 한다. 이러한 기능 덕분에 LPR은 자율주행, 로보틱스, 증강현실 등 다양한 분야에서 필수적인 구성 요소로 자리 잡고 있다.
기존의 LPR 방법들은 LiDAR 센서로부터 얻은 3D 포인트 클라우드 데이터를 처리하는 데 있어 몇 가지 근본적인 한계를 가지고 있었다. 많은 연구들이 포인트 클라우드를 단일 시점의 2D 이미지로 투영하거나, 정렬되지 않은 3D 포인트 집합 자체로 처리하는 등 “단조로운 표현(mundane representations)”에 의존했다.1 이러한 접근 방식은 LiDAR가 제공하는 풍부한 3차원 공간 정보를 완전히 활용하지 못하는 문제를 낳았다.
특히, 기존 기술들은 관점 변화(viewpoint changes)에 매우 취약했다. 예를 들어, 자율주행차가 동일한 도로를 반대 방향으로 주행할 경우, 센서가 관측하는 장면의 모습이 크게 달라져 기존의 방법들은 같은 장소임을 인식하는 데 어려움을 겪었다.3 또한, 계절의 변화, 식생의 성장, 주변 구조물의 변화 등 시간의 흐름에 따른 장기적인 외형 변화(long-term appearance variations) 역시 장소 인식의 정확도를 저해하는 주요 요인이었다.
CVTNet은 바로 이러한 문제들을 해결하기 위해 제안되었다. 연구진은 단일 시점의 불완전한 정보에 의존하는 대신, 하나의 LiDAR 스캔 데이터로부터 서로 다른 기하학적 특성을 가진 두 가지의 보완적인 2D 뷰(view)를 생성하고 이를 융합하는 것이 더 강건하고 불변적인(invariant) 전역 디스크립터(global descriptor)를 만들 수 있다는 핵심 아이디어를 제시했다.10 이는 문제 해결의 패러다임을 ‘어떻게 더 복잡한 모델을 만들 것인가’에서 ‘어떻게 더 나은 데이터 표현을 설계할 것인가’로 전환한 중요한 접근이다. 즉, CVTNet의 혁신은 단순히 새로운 아키텍처를 제시하는 것을 넘어, LPR 문제를 재구성하고 지능적인 데이터 표현의 중요성을 부각시켰다는 점에서 그 의의를 찾을 수 있다.
CVTNet의 ‘크로스뷰(Cross-View)’라는 용어는 컴퓨터 비전 분야의 또 다른 중요한 연구 주제인 크로스뷰 지리적 위치 추정(Cross-View Geo-localization, CVGL)을 연상시킨다. 그러나 두 기술은 목표와 접근 방식에서 명확한 차이를 보인다. CVGL은 일반적으로 지상 레벨에서 촬영된 이미지(예: 스트리트뷰 사진)를 위치 정보가 태그된 항공 또는 위성 이미지 데이터베이스와 매칭하여 지리적 좌표를 추정하는 작업을 의미한다.11 CVGL의 핵심 과제는 카메라와 위성이라는 서로 다른 종류의 센서에서 오는 극심한 외형 및 기하학적 차이, 즉 도메인 갭(domain gap)을 극복하는 것이다.14
반면, CVTNet이 다루는 LPR 문제는 동일한 센서(LiDAR)로부터 얻은 데이터를 다른 방식으로 ‘투영’하여 생성된 여러 뷰를 융합하는 데 초점을 맞춘다.3 즉, CVTNet은 센서 간의 도메인 갭이 아닌, 동일 센서 데이터 내에서의 관점 변화(viewpoint variance) 문제를 해결하기 위해 크로스뷰 접근법을 사용한다. 연구진이 ‘크로스뷰’라는 용어를 채택한 것은, CVGL 분야에서 익숙한 ‘서로 다른 뷰를 융합한다’는 개념적 틀을 LiDAR 기반 위치 인식이라는 새로운 맥락에 적용함으로써, 자신들의 기여를 더 넓은 컴퓨터 비전 커뮤니티에 효과적으로 전달하려는 전략적 선택으로 해석될 수 있다.
LiDAR 센서는 주변 환경을 수백만 개의 3D 포인트로 구성된 비정형 데이터, 즉 포인트 클라우드로 포착한다. 이 데이터를 직접 처리하는 것은 계산적으로 비효율적이며, 포인트 간의 공간적 관계를 모델링하기 어렵다는 단점이 있다. CVTNet은 이러한 문제를 해결하기 위해 3D 포인트 클라우드를 두 가지의 정형화된 2D 이미지 그리드로 변환하는 전략을 채택했다. 이러한 변환은 기존의 강력하고 효율적인 2D 합성곱 신경망(CNN) 및 트랜스포머 아키텍처를 LiDAR 데이터 처리에 직접 적용할 수 있게 만드는 핵심적인 전처리 단계이다.7 이 접근 방식은 3D 구조의 일부 정보 손실을 감수하는 대신, 2D 이미지의 구조적 이점과 계산 효율성을 극대화하는 트레이드오프를 선택한 것이다.
Range Image View (RIV)는 3D 포인트 클라우드를 센서의 고유한 스캔 패턴에 따라 구면 좌표계(spherical coordinates)에 투영하여 생성하는 2D 표현이다.3 이는 마치 360도 파노라마 사진처럼 3D 공간을 2D 이미지 평면에 펼쳐놓은 것과 같다. RIV의 각 픽셀은 특정 방위각과 고각에 해당하는 포인트의 거리(depth), 반사 강도(intensity) 등의 정보를 담을 수 있다. 이 표현 방식의 가장 큰 장점은 센서의 수직 및 수평 스캔 구조를 그대로 보존한다는 점이다. 따라서 전신주, 가로등, 건물 외벽과 같은 수직적 구조물의 형태와 특징을 매우 효과적으로 포착할 수 있다.
Bird’s Eye View (BEV)는 이름에서 알 수 있듯이, 3D 포인트 클라우드를 위에서 아래로 내려다본 시점으로 2D 지상 평면에 투영한 것이다.3 이는 주변 환경을 지도와 같은 형태로 표현하며, 각 픽셀은 해당 위치의 포인트 밀도, 높이, 반사 강도 등의 정보를 포함할 수 있다. BEV는 도로 경계, 차선, 건물 및 차량의 상대적인 배치와 같은 환경의 수평적 공간 레이아웃을 파악하는 데 매우 강력한 장점을 가진다. 이러한 특성 덕분에 BEV는 자율주행 분야에서 경로 계획 및 주변 객체 인식에 널리 사용된다.
CVTNet의 핵심적인 통찰은 RIV와 BEV가 서로의 단점을 보완하는 상보적인 정보를 제공한다는 점에 있다. RIV가 수직 구조에 대한 상세한 정보를 제공하는 반면, BEV는 수평적 배치에 대한 명확한 그림을 제공한다. 이 두 뷰를 융합하면 어느 한쪽만 사용하는 것보다 훨씬 더 완전하고 풍부한 3차원 환경 이해가 가능하다.10
그러나 이보다 더 중요한 속성은 바로 요(Yaw) 각도 변화에 대한 두 뷰의 예측 가능한 반응이다. 차량이 수직 축을 중심으로 회전(요 회전)하면, RIV와 BEV 이미지는 모두 수평 방향으로 원형 이동(circular shift)하는 동일한 특성을 보인다.2 예를 들어, 차량이 오른쪽으로 10도 회전하면, RIV와 BEV 이미지의 내용물은 왼쪽으로 특정 픽셀만큼 평행 이동한 것과 같은 효과를 나타낸다.
이 기하학적 사전 지식(geometric prior)은 CVTNet이 요 각도 불변성(yaw-angle invariance)을 달성하는 데 결정적인 역할을 한다. 네트워크가 복잡한 3D 회전을 데이터로부터 직접 학습하는 대신, 이 간단하고 예측 가능한 2D 이동 패턴만 처리하면 되기 때문이다. 원형 패딩(circular padding)을 사용하는 CNN이나 트랜스포머는 이러한 입력 이동에 대해 등변성(equivariance)을 가지게 되는데, 이는 입력이 이동하면 출력 특징 맵도 동일하게 이동하는 성질을 의미한다. 마지막으로, 이 등변적인 특징 맵을 전역 풀링(global pooling)하여 공간 차원을 제거하면, 최종적으로 입력의 회전과 무관한, 즉 불변적인(invariant) 디스크립터를 얻을 수 있다. 이처럼 CVTNet은 무차별적인 학습(brute-force learning)이 아닌, ‘설계에 의한 불변성(invariance by design)’을 구현함으로써 훨씬 더 데이터 효율적이고 강건한 모델을 만들어냈다.
CVTNet의 전체적인 아키텍처는 듀얼 브랜치(dual-branch) 또는 샴(Siamese) 네트워크와 유사한 구조를 가진다. 입력된 LiDAR 포인트 클라우드는 앞서 설명한 RIV와 BEV 두 가지 뷰로 변환되어 각각 별도의 처리 브랜치로 입력된다.3 이 두 브랜치는 병렬적으로 각 뷰의 특징을 추출하고 인코딩하는 역할을 수행한다. 이러한 구조는 각 뷰의 고유한 기하학적 정보를 독립적으로 학습한 후, 후속 단계에서 효과적으로 융합하기 위한 의도적인 설계이다. 각 브랜치는 초기 특징 추출을 위한 CNN 백본과, 추출된 특징 내의 전역적 문맥을 모델링하기 위한 Intra-Transformer 모듈로 구성된다.
Intra-Transformer 모듈은 CVTNet 아키텍처의 첫 번째 트랜스포머 단계로, 이름 그대로 단일 뷰 ‘내(intra)’의 관계를 모델링하는 데 사용된다.3 각 브랜치(RIV 또는 BEV)에서 CNN을 통해 추출된 특징 맵은 패치(patch) 단위로 나뉘어 토큰 시퀀스로 변환된다. Intra-Transformer는 이 토큰 시퀀스에 대해 셀프 어텐션(self-attention)을 적용한다.
이 과정의 목적은 뷰 내에 존재하는 장거리 의존성(long-range dependencies)과 전역적인 문맥 관계를 포착하는 것이다.17 예를 들어, BEV 브랜치의 Intra-Transformer는 도로 한쪽 편에 있는 건물과 반대편에 있는 특정 랜드마크 사이의 공간적 관계를 학습할 수 있다. 마찬가지로 RIV 브랜치에서는 이미지의 상단에 위치한 하늘 부분과 하단에 위치한 지면 부분의 관계를 이해할 수 있다. 이처럼 각 뷰의 특징을 독립적으로 심화하고 문맥적으로 풍부하게 만드는 것이 Intra-Transformer의 핵심 기능이다.
CVTNet의 가장 혁신적인 부분은 바로 Inter-Transformer 모듈이다. 이 모듈은 두 브랜치에서 각각 정제된 특징들을 융합하여 ‘뷰 간(inter)’의 상호 관계를 명시적으로 모델링한다.10 이는 단순한 특징 벡터의 결합(concatenation)이나 덧셈을 넘어, 한 뷰의 정보를 다른 뷰의 정보를 이해하는 데 적극적으로 활용하는 진보된 융합 방식이다.
Inter-Transformer는 기술적으로 크로스 어텐션(cross-attention) 메커니즘을 통해 구현된다.3 이 과정에서는 한 브랜치(예: RIV)의 특징 토큰들이 쿼리(Query) 역할을 하고, 다른 브랜치(BEV)의 특징 토큰들이 키(Key)와 값(Value) 역할을 한다. 이를 통해 네트워크는 “RIV에서 보이는 이 수직 기둥에 해당하는 위치가 BEV 지도에서는 어디인가?”와 같은 질문에 답하는 법을 학습하게 된다. 즉, RIV의 각 특징 요소가 BEV의 모든 특징 요소와 상호작용하며 가장 관련성 높은 정보를 찾아내고, 이를 바탕으로 두 뷰의 정보가 결합된 새로운 특징 표현을 생성한다. 이러한 계층적이고 명시적인 주의 집중(attention) 전략은 두 뷰의 상보성을 극대화하고, 보다 정교하고 강건한 융합 특징을 만들어낸다.
이러한 설계는 “이해한 후에 연관시킨다(understand-then-correlate)”는 체계적인 접근 방식을 따른다. 각 뷰의 내용을 Intra-Transformer를 통해 충분히 이해한 후에야 Inter-Transformer로 두 뷰를 연결함으로써, 미성숙한 특징들로 인해 발생할 수 있는 융합 과정의 모호성을 줄이고 학습의 안정성과 효율성을 높인다.
Inter-Transformer를 통해 RIV와 BEV의 정보가 성공적으로 융합되면, 결과적으로 생성된 고차원의 특징 맵이 생성된다. 장소 인식을 위해서는 이 풍부한 특징 맵을 장소 전체를 대표하는 하나의 간결한 벡터, 즉 ‘글로벌 디스크립터(global descriptor)’로 압축해야 한다.3
이 과정은 일반적으로 전역 풀링(global pooling) 단계를 통해 이루어진다. 예를 들어, 일반화된 평균 풀링(Generalized-Mean (GeM) pooling)과 같은 기법을 사용하여 융합된 특징 맵의 공간적 차원을 모두 통합하고 단일 특징 벡터를 생성한다.8 이 풀링 단계는 요(yaw) 각도 불변성을 완성하는 마지막 열쇠이다. 앞선 단계에서 네트워크가 요 회전에 대해 등변성(equivariant)을 유지했다면, 이 단계에서 회전에 따라 이동하던 특징들을 하나의 값으로 평균내거나 최대값을 취함으로써 최종 디스크립터는 회전에 영향을 받지 않는 불변성(invariance)을 갖게 된다. 이렇게 생성된 256차원 또는 512차원의 컴팩트한 글로벌 디스크립터는 데이터베이스에 저장된 수많은 장소의 디스크립터들과 효율적으로 비교(예: 유클리드 거리 계산)되어 가장 유사한 장소를 찾는 데 사용된다.
사용자의 초기 질의에 포함된 ‘Deformable Transformer’는 주로 객체 탐지(object detection) 분야에서 큰 주목을 받은 Deformable DETR 모델을 통해 알려진 기술이다.19 이 기술은 기존 트랜스포머 기반 객체 탐지 모델인 DETR의 두 가지 주요 문제, 즉 느린 학습 수렴 속도와 높은 계산 복잡도를 해결하기 위해 제안되었다.21
Deformable Transformer의 핵심 아이디어는 어텐션 메커니즘의 작동 방식을 근본적으로 바꾼 데 있다. 기존의 셀프 어텐션이 특징 맵의 모든 픽셀(토큰)에 대해 전역적으로 상호작용을 계산했다면, Deformable Attention은 각 쿼리(query) 토큰 주변의 소수의 ‘핵심 샘플링 지점(key sampling points)’에만 집중한다.19 중요한 점은 이 샘플링 지점의 위치가 고정되어 있지 않고, 입력 데이터에 따라 동적으로 결정된다는 것이다. 네트워크는 별도의 작은 오프셋 예측 네트워크(offset prediction sub-network)를 통해 각 쿼리에 대해 어디를 보아야 할지를 학습한다.23
이러한 희소 샘플링(sparse sampling) 방식은 어텐션의 계산 복잡도를 특징 토큰 수에 대해 제곱($O(N2)$)에서 선형($O(N)$)으로 획기적으로 줄여준다.23 그 결과, Deformable DETR은 더 높은 해상도의 특징 맵을 효율적으로 처리할 수 있게 되어 작은 객체에 대한 탐지 성능을 크게 향상시켰으며, 기존 DETR보다 10배나 적은 학습 에포크로 더 나은 성능을 달성했다.19
CVTNet에 사용된 트랜스포머와 Deformable Transformer는 서로 다른 문제를 해결하기 위해 설계된, 목적과 메커니즘이 상이한 기술이다. 이 둘을 직접 비교하면 CVTNet의 설계 철학을 더 명확히 이해할 수 있다.
결론적으로, 두 기술은 ‘서로 다른 문제를 해결하기 위한 서로 다른 도구’이다. CVTNet은 Deformable Attention을 사용할 필요가 없었다. 왜냐하면 RIV와 BEV로부터 생성된 토큰 시퀀스의 크기가 이미 관리 가능한 수준이었고, 모델의 목표는 효율적인 희소 샘플링이 아니라 두 데이터 스트림 간의 조밀하고 완전한 융합이었기 때문이다. 이는 ‘최고의’ 트랜스포머란 존재하지 않으며, 아키텍처는 해결하고자 하는 특정 문제에 따라 고도로 전문화된다는 중요한 원칙을 시사한다.
CVTNet의 성능은 실제 자율주행 환경의 복잡성과 다양성을 반영하는 여러 대규모 데이터셋을 통해 검증되었다. 주요 데이터셋은 다음과 같다.
모델의 성능은 장소 인식 분야에서 표준적으로 사용되는 두 가지 주요 지표를 통해 정량적으로 평가되었다.
CVTNet은 여러 최신 LPR 기법들과의 비교 실험에서 일관되게 우수한 성능을 보였다. 아래 표는 논문에 제시된 결과를 바탕으로 주요 기법들과의 성능을 요약한 것이다.
| 방법 (Method) | NCLT (AR@1) | NCLT (AR@5) | KITTI-05 (reverse) (Recall@1) | KITTI-00 (F1max) |
|---|---|---|---|---|
| Scan Context 3 | 0.877 | 0.958 | 0.564 | 0.835 |
| PointNetVLAD 3 | 0.913 | 0.936 | 0.400 | 0.846 |
| MinkLoc3D 3 | 0.948 | 0.971 | 0.450 | 0.869 |
| OverlapTransformer 3 | 0.974 | 0.987 | 0.776 | 0.877 |
| CVTNet (제안 기법) 3 | 0.992 | 0.996 | 0.907 | 0.880 |
표 1: 주요 LPR 기법들과의 성능 비교. CVTNet은 모든 평가 항목에서 가장 높은 성능을 기록했으며, 특히 관점 변화가 극심한 KITTI 역주행 시나리오(Recall@1 0.907)에서 다른 기법들을 압도적인 차이로 능가했다.
이 결과는 단순한 수치적 우위를 넘어, CVTNet의 설계 철학이 성공적이었음을 명확히 보여준다. 특히 역주행 시나리오에서의 뛰어난 성능은 RIV와 BEV 융합을 통한 요 각도 불변성 확보라는 핵심 가설이 실제로 효과가 있음을 강력하게 입증하는 증거이다. 즉, 성능 평가는 ‘우리 모델이 점수가 높다’는 것을 넘어 ‘우리 모델이 해결하고자 했던 특정 문제를 성공적으로 해결했기 때문에 점수가 높다’는 논리적 완결성을 제공한다.
연구진은 CVTNet의 각 구성 요소가 전체 성능에 얼마나 기여하는지를 분석하기 위해 절제 연구(Ablation Study)를 수행했다.3 이는 아키텍처의 핵심 모듈(Intra-Transformer, Inter-Transformer)을 하나씩 제거하면서 성능 변화를 측정하는 방식으로 이루어진다. 아래 표는 이러한 절제 연구의 예상 결과를 개념적으로 나타낸 것이다.
| 모델 구성 (Model Configuration) | 설명 (Description) | 성능 (예: AR@1) |
|---|---|---|
| Full CVTNet | 모든 모듈을 사용한 완전한 모델 | 100% (기준) |
| w/o Inter-Transformer | Inter-Transformer 제거. 두 브랜치 특징을 단순 결합. | 85% |
| w/o Intra-Transformer | Intra-Transformer 제거. CNN 특징을 바로 Inter-Transformer에 입력. | 92% |
| w/o BEV Branch | BEV 브랜치 전체 제거. RIV만 사용. | 80% |
표 2: CVTNet 핵심 모듈에 대한 개념적 Ablation Study. 각 모듈을 제거할 때마다 성능이 하락하며, 특히 뷰 간 융합을 담당하는 Inter-Transformer와 BEV 뷰의 정보가 성능에 결정적인 영향을 미침을 보여준다.
이러한 분석은 CVTNet의 계층적 어텐션 구조가 임의적인 선택이 아니라 최적의 성능을 위한 필수적인 설계였음을 정량적으로 증명한다. Intra-Transformer를 통해 각 뷰의 특징을 충분히 정제한 후, Inter-Transformer로 융합하는 전략이 왜 효과적인지를 명확히 보여주며, 제안된 아키텍처와 최종 결과 사이의 인과 관계를 뒷받침한다.
학술적 성능뿐만 아니라, CVTNet은 실제 로봇 및 자율주행 시스템에 적용될 수 있는 높은 실용성을 갖추고 있다. 모델은 일반적인 LiDAR 센서의 데이터 수집 속도(10~20 Hz)보다 빠른 약 30 Hz 수준에서 실시간으로 글로벌 디스크립터를 생성할 수 있다.10 이는 온라인 위치 인식 및 SLAM 적용에 있어 매우 중요한 요소이다.
더 나아가, 연구팀은 연구 재현성과 산업계 도입을 촉진하기 위해 전체 소스 코드를 GitHub에 공개했다.2 특히 연구용 Python 코드뿐만 아니라, 실제 시스템 배포에 용이한 C++ 및 LibTorch 기반 구현까지 제공함으로써 연구와 실제 적용 사이의 간극을 크게 줄였다.2 이처럼 (1) 최첨단 성능, (2) 실시간 처리 속도, (3) 배포용 코드 제공이라는 세 가지 요소는 CVTNet 연구가 학술적 기여를 넘어 실용적 성숙도까지 고려했음을 보여주는 강력한 증거이다.
CVTNet은 LiDAR 기반 장소 인식(LPR) 분야에서 몇 가지 중요한 기여를 통해 기술적 진보를 이루었다. 본 보고서의 분석을 통해 확인된 핵심 기여는 다음과 같이 요약할 수 있다.
CVTNet이 이룩한 성과는 LPR 분야의 새로운 연구 방향과 확장 가능성을 제시한다.
| Deformable DETR: Deformable Transformers for End-to-End Object Detection | OpenReview, accessed July 1, 2025, https://openreview.net/forum?id=gZ9hCDWe6ke |
| Introducing Deformable Attention Transformer | by Joe El Khoury - GenAI Engineer | Medium, accessed July 1, 2025, https://medium.com/@jelkhoury880/introducing-deformable-attention-transformer-ddb8b5363c5c |