13.9.4.3 계산 계층(Compute Layer)과 저장 계층(Storage Layer)의 완벽한 아키텍처 비동기화

모터의 조향을 틀고 딥러닝 텐서를 연산하는 데이터플로우 파이프라인망(Zenoh-Flow, 13.8장)과, 그 찌꺼기 텔레메트리 값을 영속적인 디스크 셀에 보관하는 Zenoh Storage / InfluxDB 데몬망(13.9장)의 물리적 결합을 설명해 왔다.
이 거대한 시스템을 통괄하는 아키텍트의 종착역은, 단순히 이 두 시스템이 엮여 있다는 물리적 사실이 아니라, 이 상반된 두 이데올로기가 시스템 전역에서 단 1% 의 스레드 블로킹(Thread Blocking) 시간도 서로 공유하지 않고 완벽하게 남남으로 찢어져 돌아가도록 통치하는 계산/저장 계층 완전 비동기화(Zero-Coupling Asynchrony) 철학을 선포하는 데 있다.

본 절에서는 엣지의 초정밀 계산 계층(Compute)과 클라우드의 거대한 저장 계층(Storage) 사이에 거대한 차원 절단 선(Decoupling Line)을 극명하게 그어버리고, 서로의 참사(Crash & OOM)가 상대에게 단 1바이트의 레이턴시 파편조차 튀게 하지 방어하는 아키텍처 설계의 패권 런북을 갈파한다.

1. 결합(Coupling)의 재앙: 시간(Time)의 종속성 탈피

구시대적 프레임워크인 아파치 스파크(Spark)나 Flink 류의 시스템들은 거대한 맵 리듀스 연산을 돌릴 때 “계산이 끝나고 -> 스냅샷을 만들어 -> HDFS 나 DB에 저장 후 -> ACK를 받으면 다음 스텝 진행” 이라는 동기식(Synchronous) 사슬에 묶여있었다. 저장소 HDFS 의 속도가 느려지면, 계산 파티션 전체의 스레드가 숨을 죽이고 마비되었다!

Zenoh 생태계를 구축하는 하드 리얼타임 통치자들은 “계산의 완료 유무” 와 “저장의 달성 유무” 를 물리적으로 찢어버린다.
엣지 로봇의 CPU 는 데이터(Input)를 처리하여 제어값(Output)을 조향 장치에 때려 꽂고 나면, 그것을 어딘가에 저장하려는 그 어떤 시도조차 하지 않은 채 0.01밀리초 만에 즉시 다음 프레임 데이터(Context Switch)를 맞이할 준비를 한다. “저장이 안 되면 데이터가 날아가지 않는가?” 아키텍트는 외친다. “저장 이전에 지금 목숨이 걸린 스티어링 휠이 더 먼저다!” (Compute Priority First).

2. 매개 평면(Zenoh Router Broadcast)의 이원화 공간

계산 계층과 저장 계층이 서로 얼굴을 마주 보지 않는다면 대체 텐서는 어떻게 이사(Migration)하는가?
그 완벽한 완충 지대(Buffer Zone)가 바로 매개 평면인 Zenoh Router 의 글로벌 멀티캐스트 메모리망(Pub/Sub) 이다.

엣지 계산 계층의 파이프라인은 이 완충 지대를 향해 결과물 패킷 하나를 신경질적으로 발사(Publish)해 놓고 뒤도 돌아보지 않고 퇴장한다(Fire and Forget).
저장 계층 데몬(Storage Plugin/InfluxDB)은 이 멀티캐스트 완충 지대에서 허공을 둥둥 떠다니는 수백만 개의 패킷들을 “데이터베이스가 할 수 있는 천천히, 가장 안전한 속도“에 맞춰 낚시질(Subscribe & Consume)을 하여 디스크에 각인시킨다.

• 만약 클라우드 저장 계층 데이터베이스가 10분간 폭파(Crash)되었다면?
  로봇의 머리(계산 파이프라인)는 그것을 전혀 눈치채지 못한다! 엣지의 파이프라인 큐는 막히지 않고(Zero Backpressure) 평온하게 60FPS 자율주행을 유지한다. 단지 날렸던 찌꺼기 텐서들이 허공의 빈 완충 지대에서 수신자 없이 조용히 소멸(Garbage Drop)할 뿐이다. 자율주행 로봇이 죽지 않았다는 사실이 압도적 승리다.

• 만약 로봇의 파이프라인 노드가 모두 폭사(OOM)했다면?
  지구 정반대 편의 저장 계층 데몬(InfluxDB)은 아무런 소켓 오류나 통신 에러 콜백을 맞지 않는다. 그저 완충 지대에서 잡히는 텐서 고기가 없으니 조용히 아이들(Idle/Sleep) 대기 상태로 들어갈 뿐이다.

3. 궁극의 시스템 독립 생명체 진화 (Immortality Design)

이것이 파이프라인 워커 노드(Zenoh-Flow)와 외장 스토리지 노드(Zenoh-Storage) 간의 “API 수준의 단절(API Decoupling)” 과 “시간 지연의 단절(Temporal Decoupling)” 이 동시다발적으로 완성된 초고도 분산 시스템(Hyper-distributed Architecture)의 교리다.

아키텍트가 설계한 시스템망 안에서 하드웨어 자원 소비, 네트워크 에러 파급, 소프트웨어 타임아웃 오류 등 모든 장애 발생 요인 엔트로피는 정확히 자신의 컴포넌트 철창(Sandboxing) 안에서만 놀고 끝나며 단 한 치의 오차도 “건너편 계층“으로 복사되지 않는 폭력적인 전염 차단(Infection Blocker) 런북. 계산은 계산의 피지컬 한계만을 감내하고, 저장은 저장의 한계 속도만을 통제하도록 이원화하여 찢어놓는 행위. 데이터의 흐름은 이어지더라도 스레드의 숨구멍은 철저히 메워서 절단해 버리는 것이 궁극의 분산 스트림 오케스트레이션 지배론의 마침표다.