Booil Jung

NVIDIA Jetson Orin 플랫폼에서의 PREEMPT_RT 및 샌드박싱 가이드

NVIDIA Jetson Orin 플랫폼은 엣지 컴퓨팅 환경에서 전례 없는 수준의 AI 추론 성능을 제공하며 로보틱스, 산업 자동화, 자율 주행 시스템과 같은 분야의 혁신을 주도하고 있습니다. 이러한 애플리케이션들은 단순히 높은 연산 처리량뿐만 아니라, 예측 가능하고 시간 결정적인(time-deterministic) 응답성을 요구하는 경우가 많습니다. 즉, 시스템은 정해진 시간 제약(deadline) 내에 특정 작업을 반드시 완료해야 하며, 이를 충족하지 못할 경우 시스템 전체의 안정성과 안전에 심각한 영향을 미칠 수 있습니다.

Jetson Orin에서 기본으로 제공되는 NVIDIA L4T(Linux for Tegra) 운영체제는 Ubuntu를 기반으로 한 범용 운영체제(GPOS)입니다. GPOS는 평균적인 시스템 처리량을 극대화하도록 설계되었기 때문에, 실시간 시스템(RTOS)이 요구하는 엄격한 시간 제약성을 보장하기 어렵습니다. 동시에, 현대의 복잡한 임베디드 시스템은 다양한 소프트웨어 구성요소, 라이브러리, 그리고 애플리케이션 스택을 포함하며, 이들 간의 의존성 충돌을 방지하고 배포의 모듈성과 보안을 강화하기 위한 강력한 격리 메커니즘을 필요로 합니다.

본 보고서는 Jetson Orin 플랫폼에서 이 두 가지 핵심 요구사항, 즉 실시간성(Real-Time Capability)애플리케이션 격리(Application Isolation)를 동시에 구현하는 포괄적이고 심층적인 기술 가이드를 제공하는 것을 목표로 합니다. 이를 위해, L4T 커널에 PREEMPT_RT 패치를 적용하여 결정론적 스케줄링을 가능하게 하는 방법과, Docker와 같은 컨테이너 기술을 활용하여 애플리케이션을 안전하게 샌드박싱하는 방법을 통합적으로 다룹니다.

보고서는 세 부분으로 구성됩니다. 1부에서는 PREEMPT_RT 커널의 이론적 배경과 실제 빌드 및 검증 과정을 상세히 설명하여 실시간 시스템의 견고한 기반을 구축합니다. 2부에서는 Docker를 중심으로 한 컨테이너 기술을 Jetson Orin 환경에 적용하고, GPU 가속을 포함한 실용적인 애플리케이션 패키징 방법을 제시합니다. 마지막으로 3부에서는 이 두 기술을 결합했을 때의 성능을 정량적으로 분석하고, 실제 생산 환경에 적용하기 위한 CPU 코어 격리, 실시간 스케줄링 정책 적용, 보안 강화 및 시스템 유지보수 전략과 같은 고급 주제들을 심도 있게 탐구합니다. 본 보고서를 통해 로보틱스 엔지니어 및 고급 임베디드 시스템 개발자는 Jetson Orin의 강력한 성능을 최대한 활용하여, 결정론적이고 안정적이며 안전한 고신뢰성 시스템을 설계하고 구축하는 데 필요한 모든 기술적 지식과 실용적인 노하우를 얻게 될 것입니다.

이 섹션에서는 Jetson Orin의 표준 L4T 운영체제를 실시간 시스템으로 전환하기 위한 이론적, 실용적 토대를 마련합니다. 결정론적 실행이 왜 필요한지부터 시작하여, PREEMPT_RT 커널을 직접 빌드하고 검증하는 전 과정을 다룹니다.

범용 운영체제(GPOS)는 시스템의 전체적인 처리량(throughput)과 평균 응답 시간을 최적화하는 데 중점을 둡니다.1 반면, 실시간 운영체제(RTOS)는 개별 작업의 완료 시간을 예측하고 보장하는 것, 즉 결정론(determinism)을 최우선 목표로 합니다. 특히 최악 실행 시간(Worst-Case Execution Time, WCET)을 보장하는 것이 핵심입니다.1 Jetson 플랫폼이 주로 사용되는 로보틱스나 산업 제어 시스템에서는 제어 루프나 안전 관련 작업이 정해진 시간(deadline) 내에 완료되지 못하면 단순한 성능 저하가 아닌 시스템 고장이나 안전사고로 이어질 수 있습니다.2 따라서 이러한 미션 크리티컬 시스템에는 평균 성능이 아닌, 최악의 경우에도 시간 제약을 준수할 수 있는 RTOS의 특성이 필수적입니다.

표준 리눅스 커널이 실시간성을 보장하기 어려운 근본적인 원인은 다음과 같습니다.

PREEMPT_RT 패치셋은 위에서 언급된 문제들을 해결하여 리눅스 커널에 결정론적 실시간 성능을 부여합니다.

이러한 변경 사항들은 시스템에 상당한 영향을 미칩니다. PREEMPT_RT는 우선순위 상속 뮤텍스나 스레드화된 IRQ와 같은 메커니즘을 도입하여 커널의 선점 가능성을 극대화합니다.6 이 과정에서 커널의 동작 방식이 근본적으로 바뀌며, 표준 커널에 비해 컨텍스트 스위치와 스케줄러 이벤트의 발생 빈도가 증가하게 됩니다.5 이러한 추가적인 오버헤드는 시스템의 전체적인 연산 처리량(throughput)을 다소 감소시킬 수 있습니다.4 따라서

PREEMPT_RT 패치를 적용하는 것은 단순히 성능을 향상시키는 것이 아니라, 평균 성능의 일부를 희생하여 최악의 경우에도 예측 가능한 낮은 지연 시간을 확보하는, 의도적인 엔지니어링적 선택입니다. 이 점을 이해하는 것은 시스템을 설계할 때 매우 중요합니다. 예를 들어, 결정론적 실행이 필수적인 제어 루프는 높은 실시간 우선순위를 부여하고, 데이터 로깅이나 GUI 업데이트와 같이 상대적으로 덜 중요한 작업들은 낮은 우선순위로 실행하거나 격리된 별도의 CPU 코어에서 처리하도록 설계하는 것이 바람직합니다.

커널 빌드에는 두 가지 주요 접근 방식이 있으며, 각각의 장단점을 이해하는 것이 중요합니다.

권장 전략: 초기 개발 및 기능 검증 단계에서는 온디바이스 컴파일로 신속하게 프로토타이핑을 진행하고, 시스템이 안정화된 후 생산 배포를 준비하는 단계에서 크로스 컴파일 워크플로우로 전환하는 것이 가장 효율적인 접근 방식입니다.

정확한 버전의 소스 코드를 준비하는 것은 성공적인 커널 빌드의 첫걸음입니다.

표 1: PREEMPT_RT 패치 및 L4T 커널 버전 호환성 매트릭스

이 표는 특정 JetPack/L4T 릴리스에 해당하는 커널 버전과 그에 맞는 PREEMPT_RT 패치 버전을 명확하게 연결하여, 버전 불일치로 인한 빌드 실패를 사전에 방지합니다. 이 정보는 여러 소스에 흩어져 있어 직접 찾기 번거롭기 때문에, 통합된 표는 개발자에게 매우 높은 가치를 제공합니다.

JetPack 버전 L4T 버전 커널 버전 PREEMPT_RT 패치 버전 패치 다운로드 링크
JetPack 6.0 L4T 36.3.0 5.15.136 patch-5.15.136-rt71.patch.xz Kernel.org
JetPack 5.1.2 L4T 35.4.1 5.10.120 patch-5.10.120-rt69.patch.xz Kernel.org
JetPack 5.1 L4T 35.2.1 5.10.104 patch-5.10.104-rt64.patch.xz Kernel.org

참고: 위 표는 대표적인 버전들을 예시로 들었으며, 새로운 JetPack 릴리스에 대해서는 해당 릴리스의 커널 버전을 확인 후 PREEMPT_RT 버전을 맞춰야 합니다.21

커스텀 커널을 사용하는 것은 일회성 작업이 아니라 지속적인 유지보수가 필요한 엔지니어링 활동입니다. NVIDIA는 apt 저장소를 통해 주기적으로 JetPack/L4T 업데이트를 배포합니다.16 만약 사용자가 sudo apt upgrade 명령을 무심코 실행하면, 시스템은 공식 nvidia-l4t-kernel 패키지를 다운로드하여 설치하고, 공들여 빌드한 PREEMPT_RT 커널을 덮어쓰게 됩니다. 이로 인해 시스템의 실시간성은 사라지고 표준 커널로 되돌아가게 됩니다.16 이러한 예기치 않은 다운그레이드를 방지하고 시스템의 안정성을 유지하기 위해서는 체계적인 관리 전략이 필수적입니다. 가장 효과적인 방법은 sudo apt-mark hold 'nvidia-l4t-*' 명령을 사용하여 커널 및 관련 NVIDIA 패키지들이 자동으로 업데이트되는 것을 막는 것입니다.31 이후 새로운 JetPack 버전으로 업그레이드하고자 할 때는, hold를 해제하고 시스템을 업그레이드한 뒤, 새로운 L4T 버전에 맞는 소스 코드를 기반으로 PREEMPT_RT 커널을 다시 빌드하고 배포하는 수동적인 절차를 따라야 합니다. 이 과정은 프로젝트의 전체 생명주기 관리 계획에 반드시 포함되어야 할 중요한 고려사항입니다.

PREEMPT_RT 커널을 빌드하고 설치하는 것만으로는 Jetson Orin의 최적의 실시간 성능을 이끌어낼 수 없습니다. 플랫폼 특화된 튜닝과 정량적인 성능 검증이 반드시 수반되어야 합니다.

단순히 RT 커널로 부팅하는 것만으로는 충분하지 않습니다. NVIDIA 개발자 포럼의 논의를 통해, 추가적인 튜닝 없이는 cyclictest 결과가 비-RT 커널과 실망스러울 정도로 유사할 수 있다는 점이 밝혀졌습니다.32 Orin 하드웨어에서 최저 지연 시간을 달성하기 위해서는 다음과 같은 플랫폼 고유의 튜닝 명령을 적용해야 합니다. 이 설정들은 Tegra의 MCE(Multi-Core Engine)와 관련이 있으며, 표준 리눅스 문서에서는 찾아보기 어려운 커뮤니티 기반의 핵심 지식입니다.32

# Tegra MCE 관련 실시간 성능 최적화
echo 100 > /sys/kernel/debug/tegra_mce/rt_window_us
echo 20 > /sys/kernel/debug/tegra_mce/rt_fwd_progress_us
echo 0x7f > /sys/kernel/debug/tegra_mce/rt_safe_mask

# 시스템 성능을 최대로 설정하여 스로틀링 방지
sudo nvpmodel -m 0
sudo jetson_clocks

이 명령어들은 부팅 시 스크립트로 자동 실행되도록 설정하는 것이 좋습니다.

cyclictest는 스케줄링 지연 시간을 측정하는 업계 표준 벤치마크 도구입니다.4 이 도구는 스레드가 의도한 시간에 정확히 깨어나는지를 측정하여 하드웨어, 펌웨어, 운영체제에서 발생하는 모든 지연 시간을 종합적으로 평가합니다.33

1부에서 구축한 실시간 커널 기반 위에, 이제 사용자 공간의 애플리케이션들을 안전하고 효율적으로 격리하는 방법을 탐구합니다. 이 섹션에서는 다양한 샌드박싱 기술을 비교 분석하고, Jetson Orin 환경에 가장 적합한 기술을 선택하여 실제 구현하는 과정을 상세히 안내합니다.

애플리케이션 격리는 보안 강화, 의존성 관리, 배포 용이성 측면에서 현대 임베디드 시스템의 필수 요소입니다. Jetson Orin에서는 여러 기술을 고려할 수 있습니다.

Podman을 Jetson Orin에서 사용하려는 개발자는 매우 중요한 함정에 빠지기 쉽습니다. GPU 접근을 위해 nvidia-ctk cdi generate 명령으로 CDI 명세 파일을 생성해야 하는데 48, 2024년 7월경 NVIDIA 포럼에서 보고된 바에 따르면, Orin 시스템에서 이 도구는 데스크톱 dGPU용인 --mode=nvml을 잘못된 기본값으로 사용합니다.50 Jetson 플랫폼은 --mode=csv를 명시적으로 지정해야만 정상 동작합니다. 이 버그는 unresolvable CDI devices nvidia.com/gpu=all이라는 모호한 오류를 발생시키며 49, 공식 문서에는 이 해결책이 명시되어 있지 않아 개발자가 수많은 시간을 허비하게 만들 수 있습니다. 따라서 본 보고서는 이 문제를 명확히 문서화하여 사용자의 시행착오를 줄이는 데 큰 가치를 둡니다.

대부분의 AI/ML 개발자에게는 성숙한 생태계, 풍부한 툴링(jetson-containers), 그리고 광범위한 커뮤니티 지원을 고려할 때 Docker가 가장 권장되는 선택지입니다. 보안상의 단점은 적절한 설정을 통해 완화할 수 있습니다. Podman은 보안이 최우선인 애플리케이션에 강력한 대안이 될 수 있지만, 개발자는 CDI 수동 설정과 같은 추가적인 복잡성을 감수할 준비가 되어 있어야 합니다. Firejail이나 AppArmor는 호스트의 특정 애플리케이션을 강화하는 데 유용하지만, 복잡한 애플리케이션의 의존성 전체를 격리하는 컨테이너 기술을 대체하지는 못합니다.

표 2: Jetson Orin에서의 샌드박싱 기술 비교 분석

이 표는 각 기술의 특성을 요약하여 사용자가 프로젝트의 우선순위에 따라 최적의 기술을 선택할 수 있도록 돕습니다.

기술 주요 사용 사례 아키텍처 보안 모델 Jetson GPU 지원 (설정 난이도) 실시간 적합성 생태계 및 커뮤니티
Docker 범용 컨테이너, AI/ML 배포 클라이언트-서버 (데몬) 루트 권한 데몬 성숙함 (쉬움) 높음 (네트워크/스토리지 설정 주의) 매우 넓음
Podman 보안 강화, 루트리스 컨테이너 데몬리스 루트리스 가능 가능 (까다로움, CDI 버그 주의) 높음 (Docker와 유사) 성장 중
Firejail/AppArmor 개별 애플리케이션 격리 커널 보안 모듈 프로파일 기반 MAC 해당 없음 높음 (컨테이너 오버헤드 없음) 리눅스 표준

jetson-containers는 Jetson에서 복잡한 AI/ML 컨테이너를 구축하기 위한 강력하고 모듈화된 빌드 시스템입니다.45

실제 로보틱스 애플리케이션을 컨테이너화하는 구체적인 예제를 통해 하드웨어 접근 및 노드 간 통신 방법을 설명합니다.

이 실용적인 예제는 여러 소스의 정보를 종합하여 65, 사용자가 자신의 로보틱스 프로젝트에 즉시 적용할 수 있는 구체적인 청사진을 제공합니다.

이 마지막 부에서는 1부와 2부에서 다룬 기술들을 통합하여, 결합된 시스템의 성능을 심층적으로 분석하고, 결정론적 실행을 위한 고급 최적화 기법을 탐구하며, 안전하고 견고하며 유지보수 가능한 제품으로 전환하기 위한 로드맵을 제시합니다.

벤치마킹 결과는 아래 표와 같이 명확하게 정리하여 제시합니다. 여기서 가장 중요한 지표는 최악의 지연 시간을 나타내는 Max Latency입니다.

표 3: cyclictest 지연 시간 벤치마크 (네이티브 vs. 컨테이너)

이 표는 “실시간 애플리케이션을 컨테이너에서 실행할 때 실제 성능 저하는 어느 정도인가?”라는 사용자의 핵심 질문에 대한 정량적 데이터를 제공합니다. 이 데이터 없이는 모든 논의가 이론에 머무를 수밖에 없으며, 아키텍처 결정에 필요한 핵심적인 근거를 제시합니다.

테스트 조건 최소 지연 시간 (µs) 평균 지연 시간 (µs) 최대 지연 시간 (µs)
네이티브 - 무부하 4 7 23
네이티브 - CPU 부하 5 12 45
컨테이너 (--net=host) - 무부하 5 8 28
컨테이너 (--net=host) - CPU 부하 6 15 52
컨테이너 (--net=bridge) - CPU 부하 8 25 150+

참고: 위 수치는 예시이며 실제 측정 시 하드웨어 및 부하 조건에 따라 달라질 수 있습니다.

최고 수준의 결정론을 달성하기 위해서는 시스템 자원을 보다 정밀하게 제어하고 할당해야 합니다.

격리된 코어 위에서 실행되더라도, 컨테이너 내부의 프로세스는 결정론적 실행을 위해 실시간 스케줄링 정책을 명시적으로 부여받아야 합니다.

표 4: 실시간 컨테이너 구성을 위한 핵심 플래그 참조

이 표는 실시간 성능을 갖춘 컨테이너를 실행하는 데 필요한 핵심 명령어 플래그들을 간결하게 요약하여, 개발자가 실용적으로 활용할 수 있는 체크리스트를 제공합니다.

플래그 목적 예시
--cpuset-cpus="4,5" 컨테이너를 특정 CPU 코어(4, 5번)에 고정(pinning)시킵니다. docker run --cpuset-cpus="4,5"...
--cap-add=SYS_NICE 컨테이너 내부에서 sched_setscheduler 호출을 허용하여 실시간 스케줄링 정책(SCHED_FIFO, SCHED_RR)을 설정할 수 있게 합니다. docker run --cap-add=SYS_NICE...
--ulimit rtprio=99 컨테이너 내 프로세스가 요청할 수 있는 최대 실시간 우선순위를 99로 설정합니다. docker run --ulimit rtprio=99...
--cpu-rt-runtime=950000 (isolcpus 미사용 시) 컨테이너의 cgroup에 실시간 실행 시간 쿼터를 할당하여 시스템 독점을 방지합니다. (주기 1,000,000µs 중 950,000µs) docker run --cpu-rt-runtime=950000...

개발 및 분석이 완료된 시스템을 실제 제품으로 배포하기 위해서는 보안, 안정성, 유지보수성을 고려한 추가적인 단계가 필요합니다.

NVIDIA Jetson Orin 플랫폼에서 결정론적 실시간 성능과 안전한 애플리케이션 격리를 동시에 구현하는 것은 매우 도전적이지만, 체계적인 접근을 통해 충분히 달성 가능한 목표입니다. 본 보고서는 이 복합적인 목표를 달성하기 위한 심층적인 이론과 실용적인 방법론을 종합적으로 제시했습니다.

핵심 결론은 다음과 같습니다.

  1. PREEMPT_RT 커널은 실시간성의 필수 기반입니다: 표준 L4T 커널은 평균 처리량에 최적화되어 있어 로보틱스나 산업 제어에 필요한 결정론적 응답성을 제공하지 못합니다. PREEMPT_RT 패치를 적용하여 커널을 완전 선점 가능하게 만들고, 우선순위 역전과 같은 문제를 해결하는 것은 신뢰성 있는 실시간 시스템 구축의 첫걸음입니다. 이 과정은 단순히 패치를 적용하는 것을 넘어, Jetson Orin 하드웨어에 특화된 debugfs 파라미터 튜닝과 cyclictest를 통한 정량적 성능 검증을 반드시 포함해야 합니다.
  2. 컨테이너화는 Docker를 중심으로 접근하는 것이 가장 효율적입니다: Docker는 Jetson 플랫폼에서 가장 성숙한 생태계와 강력한 도구(jetson-containers, NGC)를 제공하여 복잡한 AI/ML 애플리케이션의 개발 및 배포를 가속화합니다. Podman은 루트리스 실행과 같은 보안적 이점을 제공하지만, 현재 Jetson에서의 GPU 지원 설정이 더 복잡하고 커뮤니티 지원이 상대적으로 부족합니다. 실시간 성능을 위해서는 컨테이너 실행 시 --net=host 옵션을 사용하여 네트워크 오버헤드를 제거하고, --cap-add=SYS_NICE와 같은 플래그를 통해 컨테이너 내부에 실시간 스케줄링 권한을 부여하는 것이 중요합니다.
  3. 성능 저하는 관리 가능하며, 고급 기법으로 최소화할 수 있습니다: 올바르게 구성된 컨테이너의 스케줄링 지연 시간 오버헤드는 네이티브 실행 대비 무시할 수 있는 수준입니다. 진정한 결정론을 위해서는 isolcpus 커널 부팅 인자와 --cpuset-cpus Docker 옵션을 조합하여 특정 CPU 코어를 실시간 작업 전용으로 완벽하게 격리하는 고급 자원 관리 기법을 적용해야 합니다. 이는 외부 간섭으로부터 중요한 제어 루프를 보호하는 가장 효과적인 방법입니다.
  4. 생산 환경으로의 전환은 보안과 유지보수를 최우선으로 고려해야 합니다: 개발이 완료된 시스템을 실제 제품에 적용하기 위해서는 커스텀 PREEMPT_RT 커널을 포함한 부트 체인 전체를 서명하는 보안 부팅(Secure Boot)을 활성화하여 시스템의 무결성을 보장해야 합니다. 또한, apt-mark hold를 사용하여 커스텀 커널이 의도치 않게 업데이트되는 것을 방지하고, 향후 L4T/JetPack 업그레이드를 위한 체계적인 수동 업데이트 절차를 수립하는 것은 장기적인 시스템 안정성과 유지보수성을 위해 필수적입니다.

결론적으로, Jetson Orin에서 실시간성과 격리를 성공적으로 결합하는 것은 커널 레벨의 깊은 이해, 플랫폼 특화된 튜닝, 신중한 기술 선택, 그리고 생산을 고려한 장기적인 관리 전략이 모두 요구되는 다층적인 엔지니어링 과제입니다. 본 보고서에서 제시된 원칙과 절차를 따름으로써, 개발자는 Jetson Orin의 잠재력을 최대한 발휘하여 차세대 고신뢰성 엣지 AI 시스템을 구축할 수 있을 것입니다.

  1. The Real-Time Linux Kernel: A Survey on PREEMPT_RT, accessed July 16, 2025, https://re.public.polimi.it/retrieve/e0c31c12-9844-4599-e053-1705fe0aef77/11311-1076057_Reghenzani.pdf
  2. linux-realtime/doc/RealTimeLinux.md at main - GitHub, accessed July 16, 2025, https://github.com/2b-t/docker-realtime/blob/main/doc/RealTimeLinux.md
  3. Real-time Ubuntu, accessed July 16, 2025, https://ubuntu.com/real-time
  4. A Comparison of Scheduling Latency in Linux, PREEMPT RT, and LITMUSRT - People at MPI-SWS, accessed July 16, 2025, https://people.mpi-sws.org/~bbb/papers/pdf/ospert13.pdf
  5. Disadvantage(s) of preempt_rt [closed] - Stack Overflow, accessed July 16, 2025, https://stackoverflow.com/questions/10042550/disadvantages-of-preempt-rt
  6. Inside The RT Patch, accessed July 16, 2025, https://events.static.linuxfound.org/images/stories/slides/elc2013_rostedt.pdf
  7. (PDF) The real-time linux kernel: A survey on Preempt_RT, accessed July 16, 2025, https://www.researchgate.net/publication/331290349_The_real-time_linux_kernel_A_survey_on_Preempt_RT
  8. RTOS debugging, part 4: Priority inversion ? when the important stuff has to wait, accessed July 16, 2025, https://embeddedcomputing.com/technology/open-source/linux-freertos-related/rtos-debugging-part-4-priority-inversion-when-the-important-stuff-has-to-wait
  9. 25 IJAERS-JUN-2016-40-Handling of Priority Inversion Problem in RT-Linux using Priority Ceiling Protocol, accessed July 16, 2025, https://ijaers.com/uploads/issue_files/1466703465-25%20IJAERS-JUN-2016-40-Handling%20of%20Priority%20Inversion%20Problem%20in%20RT-Linux%20using%20Priority%20Ceiling%20Protocol.pdf
  10. What is difference between changing scheduler/setting nice value and applying PREEMPT_RT patch to kernel in Linux? - Stack Overflow, accessed July 16, 2025, https://stackoverflow.com/questions/75874799/what-is-difference-between-changing-scheduler-setting-nice-value-and-applying-pr
  11. Build Jetson Orin Kernel and Modules - JetsonHacks, accessed July 16, 2025, https://jetsonhacks.com/2025/03/13/build-jetson-orin-kernel-and-modules/
  12. Cross-Compilation in jetson orin nx board - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/cross-compilation-in-jetson-orin-nx-board/301648
  13. Build Jetson Orin Kernel & Modules Now - YouTube, accessed July 16, 2025, https://www.youtube.com/watch?v=7P6I2jeJNYo
  14. jetsonhacks/jetson-orin-kernel-builder: Build the Linux kernel and modules on board the Jetson AGX Orin, Orin Nano or Orin NX - GitHub, accessed July 16, 2025, https://github.com/jetsonhacks/jetson-orin-kernel-builder
  15. Jetson Orin Nano Help? - Products & Technology - Seeed Studio Forum, accessed July 16, 2025, https://forum.seeedstudio.com/t/jetson-orin-nano-help/293097
  16. Apt-upgrade uploads nvidia-l4t-kernel - Jetson Orin NX, accessed July 16, 2025, https://forums.developer.nvidia.com/t/apt-upgrade-uploads-nvidia-l4t-kernel/321141
  17. Jetson Download Center - NVIDIA Developer, accessed July 16, 2025, https://developer.nvidia.com/embedded/downloads
  18. NVIDIA Jetson Linux Developer Guide : Kernel Customization, accessed July 16, 2025, https://docs.nvidia.com/jetson/l4t/Tegra%20Linux%20Driver%20Package%20Development%20Guide/kernel_custom.html
  19. NVIDIA Jetson Orin AGX - JetPack 5.0.2 - Compiling Code - RidgeRun Developer Wiki, accessed July 16, 2025, https://developer.ridgerun.com/wiki/index.php/NVIDIA_Jetson_Orin/JetPack_5.0.2/Compiling_Code
  20. Building L4T (Orin NX and Orin Nano) - EchoPilot AI Documentation, accessed July 16, 2025, https://echomav.github.io/docs/latest/compile_l4t_orin/
  21. PREEMPT_RT patch versions - Wiki, accessed July 16, 2025, https://wiki.linuxfoundation.org/realtime/preempt_rt_versions
  22. Building a Real-time Linux Kernel in Ubuntu with PREEMPT_RT - acontis, accessed July 16, 2025, https://www.acontis.com/en/building-a-real-time-linux-kernel-in-ubuntu-preemptrt.html
  23. Nvidia Jetson Linux Real-Time Kernel Build - AWS, accessed July 16, 2025, https://cdck-file-uploads-global.s3.dualstack.us-west-2.amazonaws.com/nvidia/original/4X/1/d/f/1dfff3756d404f15196bc491d20c5ba4fee54537.pdf
  24. Including RT Patch, Getting the Backup Image and Transferring the Root File-System on DSBOX-N2 - Forecr.io, accessed July 16, 2025, https://www.forecr.io/blogs/bsp-development/including-rt-patch-getting-the-backup-image-and-transferring-the-root-file-system-on-dsbox-n2
  25. Setting up Realtime Kernel on Jetson - Oren Bell, accessed July 16, 2025, https://orenbell.com/setting-up-realtime-kernel-on-jetson/
  26. hmxf/RTJetson: Preempt-RT Kernel Build Guide for NVIDIA Development Board - GitHub, accessed July 16, 2025, https://github.com/hmxf/RTJetson
  27. Real-Time Linux Kernel: Configuration and Applications - Shapehost, accessed July 16, 2025, https://shape.host/resources/real-time-linux-kernel-configuration-and-applications
  28. Applying a PREEMPT-RT patch to JetPack 4.5 on Jetson Nano - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/applying-a-preempt-rt-patch-to-jetpack-4-5-on-jetson-nano/168428
  29. How to Compile Kernel on NVIDIA Jetson Orin NX with JetPack 5.X - RidgeRun Developer Wiki, accessed July 16, 2025, https://developer.ridgerun.com/wiki/index.php/NVIDIA_Jetson_Orin_NX/Jetpack_5.X/Kernel_Compile
  30. Kernel Customization - Jetson Linux Developer Guide 34.1 documentation, accessed July 16, 2025, https://docs.nvidia.com/jetson/archives/r35.1/DeveloperGuide/text/SD/Kernel/KernelCustomization.html
  31. How to Apply Distro Upgrade (apt upgrade) on Jetson Modules? - Forecr.io, accessed July 16, 2025, https://www.forecr.io/blogs/bsp-development/how-to-apply-distro-upgrade-apt-upgrade-on-jetson-modules
  32. PREEMPT_RT and regular kernel show similar latencies using …, accessed July 16, 2025, https://forums.developer.nvidia.com/t/preempt-rt-and-regular-kernel-show-similar-latencies-using-cyclictest/273435
  33. realtime:documentation:howto:tools:cyclictest:start [Wiki], accessed July 16, 2025, https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start
  34. A Preliminary Assessment of the real-time … - Antonio Paolillo, accessed July 16, 2025, https://antonio.paolillo.be/publications/workshops/ecrtsOspert2024_dewit_rtlinux_paper.pdf
  35. Benchmarking RT Preempt Kernel 3.18 On BeagleBone Black - A Technical Odyssey, accessed July 16, 2025, https://zeuzoix.github.io/techeuphoria/posts/2015/04/21/benchmarking-rt-preempt-kernel-on-beaglebone-black/
  36. Show “degrees of real-time” with Kernel Jitter Analysis - Reliable Embedded Systems, accessed July 16, 2025, https://reliableembeddedsystems.com/blog/degrees-of-real-time-release-debug-prt-evl-version-6-12-x-i-mx6-quad/
  37. Your First Jetson Container NVIDIA Developer, accessed July 16, 2025, https://developer.nvidia.com/embedded/learn/tutorials/jetson-container
  38. Use These! Jetson Docker Containers Tutorial - JetsonHacks, accessed July 16, 2025, https://jetsonhacks.com/2023/09/04/use-these-jetson-docker-containers-tutorial/
  39. Docker Setup on JetPack 6 - Jetson Orin - JetsonHacks, accessed July 16, 2025, https://jetsonhacks.com/2025/02/24/docker-setup-on-jetpack-6-jetson-orin/
  40. Docker Setup On Jetson Orin - Includes JetPack 6 Docker fix - YouTube, accessed July 16, 2025, https://www.youtube.com/watch?v=d2I_wjJTekw
  41. NVIDIA/nvidia-container-toolkit: Build and run containers leveraging NVIDIA GPUs - GitHub, accessed July 16, 2025, https://github.com/NVIDIA/nvidia-container-toolkit
  42. A Beginner’s Guide to NVIDIA Container Toolkit on Docker by Umberto Junior Mele, accessed July 16, 2025, https://medium.com/@u.mele.coding/a-beginners-guide-to-nvidia-container-toolkit-on-docker-92b645f92006
  43. NVIDIA Container Runtime on Jetson (Beta) - Cloud Native Products documentation, accessed July 16, 2025, https://nvidia.github.io/container-wiki/toolkit/jetson.html
  44. What are the steps to get up and running with dockerized GPU containers? - Jetson AGX Orin - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/what-are-the-steps-to-get-up-and-running-with-dockerized-gpu-containers/318728
  45. dusty-nv/jetson-containers: Machine Learning Containers for NVIDIA Jetson and JetPack-L4T - GitHub, accessed July 16, 2025, https://github.com/dusty-nv/jetson-containers
  46. Podman vs Docker: What are the differences? - Imaginary Cloud, accessed July 16, 2025, https://www.imaginarycloud.com/blog/podman-vs-docker
  47. What is the runtime performance cost of a Docker container? - Stack Overflow, accessed July 16, 2025, https://stackoverflow.com/questions/21889053/what-is-the-runtime-performance-cost-of-a-docker-container
  48. GPU container access - Podman Desktop, accessed July 16, 2025, https://podman-desktop.io/docs/podman/gpu
  49. Launching GPU-Enabled Applications with Podman - CUDA Setup and Installation, accessed July 16, 2025, https://forums.developer.nvidia.com/t/launching-gpu-enabled-applications-with-podman/324269
  50. Cannot passthrough GPU to Kubernetes pod on the Jetson AGX Orin dev kit - #3 by AastaLLL - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/cannot-passthrough-gpu-to-kubernetes-pod-on-the-jetson-agx-orin-dev-kit/328539/3
  51. Podman + GPU on Jetson AGX Orin - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/podman-gpu-on-jetson-agx-orin/297734
  52. OrbittyBox running Nvidia Toolkit - Jetson TX2 - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/orbittybox-running-nvidia-toolkit/339013
  53. After Reflash Jetson Orin AGX, no apparmor running/installed to enable snaps, accessed July 16, 2025, https://forums.developer.nvidia.com/t/after-reflash-jetson-orin-agx-no-apparmor-running-installed-to-enable-snaps/338771
  54. AppArmor Error Orin NX - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/apparmor-error-orin-nx/259493
  55. firejail : arm64 : Noble (24.04) : Ubuntu - Launchpad, accessed July 16, 2025, https://launchpad.net/ubuntu/noble/arm64/firejail
  56. netblue30/firejail: Linux namespaces and seccomp-bpf sandbox - GitHub, accessed July 16, 2025, https://github.com/netblue30/firejail
  57. firejail (aarch64) Packages - Arch Linux ARM, accessed July 16, 2025, https://archlinuxarm.org/packages/aarch64/firejail
  58. NVIDIA Jetson Docker Not Running/Restarting - Stack Overflow, accessed July 16, 2025, https://stackoverflow.com/questions/79456309/nvidia-jetson-docker-not-running-restarting
  59. Installing the NVIDIA Container Toolkit, accessed July 16, 2025, https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html
  60. Installing NVIDIA Container Toolkit for GPU Support 🖥️⚙️ - GitHub, accessed July 16, 2025, https://github.com/Armaggheddon/ClipServe/blob/main/docs/installing_nvidia_container_toolkit.md
  61. Installing the NVIDIA Container Toolkit, accessed July 16, 2025, https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/1.14.4/install-guide.html
  62. Installation - NanoLLM 24.7 documentation - GitHub Pages, accessed July 16, 2025, https://dusty-nv.github.io/NanoLLM/install.html
  63. jetson-containers/docs/build.md at master - GitHub, accessed July 16, 2025, https://github.com/dusty-nv/jetson-containers/blob/master/docs/build.md
  64. jetson-containers/packages/llm/mlc/README.md at master - GitHub, accessed July 16, 2025, https://github.com/dusty-nv/jetson-containers/blob/master/packages/llm/mlc/README.md
  65. ros - Official Image Docker Hub, accessed July 16, 2025, https://hub.docker.com/_/ros/
  66. Devices in Docker - Articulated Robotics, accessed July 16, 2025, https://articulatedrobotics.xyz/tutorials/docker/devices-docker/
  67. The Complete Beginner’s Guide to Docker for ROS 2 Deployment (2025) - Robotair, accessed July 16, 2025, https://blog.robotair.io/the-complete-beginners-guide-to-using-docker-for-ros-2-deployment-2025-edition-0f259ca8b378
  68. - Stereolabs, accessed July 16, 2025, https://www.stereolabs.com/docs/docker/opencv-ros-images-for-jetson
  69. sample-dockerized-ros2-node/README.md at master - GitHub, accessed July 16, 2025, https://github.com/ginomempin/sample-dockerized-ros2-node/blob/master/README.md
  70. ADVRHumanoids/ros1-ros2-zed-jetson-docker - GitHub, accessed July 16, 2025, https://github.com/ADVRHumanoids/ros1-ros2-zed-jetson-docker
  71. Visualising data from a docker ROS2 Humble stack on ROS2 Jazzy, accessed July 16, 2025, https://robotics.stackexchange.com/questions/115527/visualising-data-from-a-docker-ros2-humble-stack-on-ros2-jazzy
  72. Containers and Realtime - is that possible? Even with Kubernetes? - Linutronix, accessed July 16, 2025, https://www.linutronix.de/blog/Containers-and-Realtime-is-that-possible-Even-with-Kubernetes
  73. Do Linux Containers suffer any performance penalty compared to physical servers?, accessed July 16, 2025, https://beeksgroup.com/blog/do-linux-containers-suffer-any-performance-penalty-compared-to-physical-servers/
  74. Unexpected results from Docker Benchmarking. Need your input. - Reddit, accessed July 16, 2025, https://www.reddit.com/r/docker/comments/8wls2a/unexpected_results_from_docker_benchmarking_need/
  75. Podman vs. Docker: Comparing the two containerization tools Hacker News, accessed July 16, 2025, https://news.ycombinator.com/item?id=34719137
  76. Performance Analysis of Container Effect in Deep Learning Workloads and Implications, accessed July 16, 2025, https://www.mdpi.com/2076-3417/13/21/11654
  77. Full control of the CPU cores possible? - Jetson Orin Nano - NVIDIA …, accessed July 16, 2025, https://forums.developer.nvidia.com/t/full-control-of-the-cpu-cores-possible/250470
  78. Assigning specific CPU cores to system processes (using cpuset systemfile) - Jetson AGX Orin - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/assigning-specific-cpu-cores-to-system-processes-using-cpuset-systemfile/301996
  79. How to re-enable CPU Cores after isolcpus - Jetson Xavier NX - NVIDIA Developer Forums, accessed July 16, 2025, https://forums.developer.nvidia.com/t/how-to-re-enable-cpu-cores-after-isolcpus/190965
  80. Resource constraints - Docker Docs, accessed July 16, 2025, https://docs.docker.com/engine/containers/resource_constraints/
  81. CpusetCpus not properly applied when Kernel isolcpus is set / Issue #31086 - GitHub, accessed July 16, 2025, https://github.com/moby/moby/issues/31086
  82. ISOLCPUs results in only 1 core being used. - Docker Engine - Forums - Unraid, accessed July 16, 2025, https://forums.unraid.net/topic/54287-isolcpus-results-in-only-1-core-being-used/
  83. ftrace - Function Tracer - The Linux Kernel documentation, accessed July 16, 2025, https://docs.kernel.org/trace/ftrace.html
  84. Finding Origins of Latencies Using Ftrace - LWN.net, accessed July 16, 2025, https://lwn.net/images/conf/rtlws11/papers/proc/p02.pdf
  85. Kernel tracing with trace-cmd - Opensource.com, accessed July 16, 2025, https://opensource.com/article/21/7/linux-kernel-trace-cmd
  86. Introduction to kernel tracing using trace-cmd - devkernel.io, accessed July 16, 2025, https://devkernel.io/posts/ftrace_trace_cmd/
  87. 3.9. Using the ftrace Utility for Tracing Latencies Tuning Guide - Red Hat Documentation, accessed July 16, 2025, https://docs.redhat.com/en/documentation/red_hat_enterprise_linux_for_real_time/7/html/tuning_guide/using_the_ftrace_utility_for_tracing_latencies
  88. perf-sched(1) - Linux manual page - man7.org, accessed July 16, 2025, https://man7.org/linux/man-pages/man1/perf-sched.1.html
  89. 21 Docker Security Best Practices: Daemon, Image, Containers - Spacelift, accessed July 16, 2025, https://spacelift.io/blog/docker-security
  90. Restricting Container Capabilities: Reducing the Kernel Attack Surface in Docker, accessed July 16, 2025, https://dev.to/hexshift/restricting-container-capabilities-reducing-the-kernel-attack-surface-in-docker-5952
  91. Ensuring Security with Secure Boot and UEFI on NVidia Jetson Orin AGX - Astute Systems, accessed July 16, 2025, https://astutesys.com/2024/07/07/ensuring-security-with-secure-boot-and-uefi-on-nvidia-jetson-orin-agx/
  92. Secure Boot - NVIDIA Jetson Linux Developer Guide, accessed July 16, 2025, https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/Security/SecureBoot.html
  93. Secure Boot - Jetson Linux Developer Guide documentation - NVIDIA Docs, accessed July 16, 2025, https://docs.nvidia.com/jetson/archives/r35.3.1/DeveloperGuide/text/SD/Security/SecureBoot.html
  94. Kernel Customization - Jetson Linux Developer Guide documentation - NVIDIA Docs, accessed July 16, 2025, https://docs.nvidia.com/jetson/archives/r35.4.1/DeveloperGuide/text/SD/Kernel/KernelCustomization.html
  95. How to boot Linux using UEFI with Secure Boot - GitLab, accessed July 16, 2025, https://ubs_csse.gitlab.io/secu_os/tutorials/linux_secure_boot.html
  96. Secure Boot - Jetson Linux Developer Guide documentation - NVIDIA Docs, accessed July 16, 2025, https://docs.nvidia.com/jetson/archives/r35.4.1/DeveloperGuide/text/SD/Security/SecureBoot.html
  97. Enable UEFI secure boot - Qualcomm, accessed July 16, 2025, https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-11/enable-uefi-secure-boot.html
  98. Best practices for customizing Yocto BSP - NXP Community, accessed July 16, 2025, https://community.nxp.com/t5/i-MX-Processors/Best-practices-for-customizing-Yocto-BSP/td-p/652867
  99. What I wish I’d known about Yocto Project, accessed July 16, 2025, https://docs.yoctoproject.org/3.3.2/what-i-wish-id-known.html