4.5.2 미분 가능한 하드웨어 설계 (Differentiable Hardware Design): 엔드 투 엔드(End-to-End) 학습을 통한 하드웨어 파라미터와 제어 정책의 동시 최적화

1. 서론: 로봇 설계 패러다임의 구조적 전환과 하드웨어 복권의 극복

1.1 순차적 설계의 한계와 하드웨어 복권(Hardware Lottery)

로봇 공학의 역사는 오랫동안 하드웨어와 소프트웨어의 분리된 개발 주기에 의해 지배되어 왔다. 전통적인 로봇 개발 파이프라인은 기계 공학적 설계가 선행된 후, 고정된 물리적 제약(Constraints) 위에서 제어 알고리즘과 인지 시스템을 최적화하는 순차적(Sequential) 방식을 따른다.1 이러한 접근 방식은 설계자의 직관과 경험에 의존하며, 하드웨어 파라미터(링크 길이, 질량 분포, 액추에이터 사양 등)가 실제 작업(Task) 수행 능력에 미치는 복잡한 상호작용을 사전에 완벽하게 예측하기 어렵다는 근본적인 한계를 지닌다. 특히, 로봇의 형태(Morphology)가 제어 정책(Control Policy)의 복잡도와 학습 가능성을 결정짓는다는 ’신체 지능(Embodied Intelligence)’의 관점에서 볼 때, 하드웨어의 고정은 소프트웨어의 잠재력을 제한하는 병목으로 작용한다.1

이러한 현상은 인공지능 연구에서 논의되는 ‘하드웨어 복권(Hardware Lottery)’ 개념과 맞닿아 있다. 하드웨어 복권이란 특정 연구 아이디어나 알고리즘의 성공 여부가 그 자체의 우수성보다는 당시 가용한 하드웨어 및 소프트웨어 인프라와의 호환성에 의해 결정되는 현상을 의미한다.3 로봇 공학에서 이는 특정 하드웨어 구성이 우연히 제어 알고리즘과 잘 맞아떨어질 때만 고성능을 발휘하고, 그렇지 않은 경우 잠재적으로 우수한 제어 이론이 사장되거나, 반대로 최적화되지 않은 하드웨어로 인해 제어 비용이 불필요하게 증가하는 형태로 나타난다.3 따라서 하드웨어와 소프트웨어의 결합을 ’운’에 맡기지 않고, 수학적으로 정밀하게 공진화(Co-evolution)시키는 방법론이 절실히 요구된다.

1.2 미분 가능한 프로그래밍과 엔드 투 엔드 설계의 부상

이러한 문제의식을 바탕으로 등장한 **미분 가능한 하드웨어 설계(Differentiable Hardware Design)**는 로봇의 물리적 설계 변수와 제어 정책 파라미터를 단일한 계산 그래프(Computational Graph) 내의 최적화 변수로 통합하는 혁신적인 패러다임이다.6 딥러닝(Deep Learning)의 성공 요인이었던 역전파(Backpropagation) 알고리즘을 물리 시뮬레이션 영역으로 확장함으로써, 우리는 이제 작업 수행도(Performance Metric)에 대한 손실 함수(Loss Function)의 그래디언트(Gradient)를 제어기뿐만 아니라 로봇의 신체 구조로까지 전파할 수 있게 되었다.8

이는 기존의 유전 알고리즘(Genetic Algorithm)이나 진화 전략(Evolutionary Strategy)과 같은 ‘블랙박스 최적화(Black-box Optimization)’ 기법들이 겪었던 샘플 비효율성(Sample Inefficiency) 문제를 획기적으로 개선한다.9 그래디언트 기반 최적화(Gradient-based Optimization)는 고차원 설계 공간에서 최적의 해를 찾는 속도를 수십 배에서 수백 배 가속화하며, 이는 하드웨어 설계의 자동화를 넘어 ‘소프트웨어가 정의하는 하드웨어(Software-defined Hardware)’ 시대를 여는 열쇠가 된다.11 본 장에서는 이러한 기술적 진보의 이론적 배경, 핵심 구현 기술인 미분 가능한 물리 엔진, 그리고 실제 로봇 시스템에 적용된 구체적인 사례들을 심층적으로 분석한다.

2. 이론적 배경: 미분 가능한 물리학(Differentiable Physics)의 수학적 기초

미분 가능한 하드웨어 설계의 핵심은 물리 현상, 특히 로봇의 동역학(Dynamics)을 미분 가능한 연산의 연속으로 모델링하는 것이다. 이는 시뮬레이터 S가 입력 파라미터 \theta (하드웨어 및 제어)에 대해 출력 상태 s의 미분값 \nabla_\theta s를 해석적(Analytically)으로 제공해야 함을 의미한다.

2.1 동역학 방정식과 파라미터 최적화 정식화

로봇 시스템의 동역학은 일반적으로 다음의 운동 방정식으로 기술된다.
M(q, \theta_h) \ddot{q} + C(q, \dot{q}, \theta_h) \dot{q} + G(q, \theta_h) = B(q, \theta_h) u + J_c(q, \theta_h)^T f_c
여기서 q는 일반화 좌표(Generalized Coordinates), \theta_h는 하드웨어 파라미터(질량, 링크 길이, 관성 모멘트 등), M은 질량 행렬, C는 코리올리 및 원심력, G는 중력, B는 구동 행렬, u는 제어 입력, f_c는 접촉력(Contact Force)이다. 미분 가능한 시뮬레이션의 목표는 시간 t에서의 상태 s_t = [q_t, \dot{q}_t]^T가 주어졌을 때, 다음 상태 s_{t+1}을 계산하는 함수 f뿐만 아니라, 그 야코비안(Jacobian) \partial s_{t+1} / \partial s_t, \partial s_{t+1} / \partial u_t, \partial s_{t+1} / \partial \theta_h를 계산하는 것이다.7

전체 최적화 문제는 다음과 같이 정의된다.
\min_{\theta_h, \theta_c} J = \sum_{t=0}^{T} L(s_t, u_t; \theta_h, \theta_c)

\text{s.t. } s_{t+1} = \text{Step}(s_t, u_t; \theta_h), \quad u_t = \pi(s_t; \theta_c)

여기서 \pi는 파라미터 \theta_c를 갖는 신경망 제어 정책이다. 이 최적화 문제를 풀기 위해 연쇄 법칙(Chain Rule)을 적용하면, 손실 함수 J에 대한 하드웨어 파라미터의 그래디언트는 다음과 같이 시간에 따른 역전파(Backpropagation through Time)로 계산된다.
\frac{dJ}{d\theta_h} = \sum_{t=0}^{T} \frac{\partial L}{\partial s_t} \frac{ds_t}{d\theta_h} + \frac{\partial L}{\partial u_t} \frac{du_t}{d\theta_h}
이 과정에서 가장 큰 난관은 접촉(Contact) 현상의 불연속성이다. 물체가 닿거나 떨어지는 순간, 또는 정지 마찰에서 운동 마찰로 전환되는 순간에 동역학은 급격하게 변하며 미분 불가능한 지점이 발생한다. 이를 해결하기 위해 크게 두 가지 수학적 접근법이 사용된다.

2.2 LCP (Linear Complementarity Problem) 및 분석적 그래디언트

강체 동역학 시뮬레이터에서 접촉 문제는 종종 선형 보완 문제(LCP)로 정식화된다. LCP는 부등식 제약 조건(비관통 조건, 마찰 원추 조건 등)을 만족하는 힘을 찾는 문제이다.
0 \le \lambda \perp (A\lambda + b) \ge 0
여기서 \lambda는 접촉 충격량(Impulse)이다. 전통적인 물리 엔진은 이 LCP를 풀기만 하면 되지만, 미분 가능한 엔진은 LCP의 해 \lambda를 입력 파라미터에 대해 미분해야 한다.

최근의 연구(예: Dojo 엔진)들은 **음함수 정리(Implicit Function Theorem)**를 사용하여 LCP 해의 그래디언트를 직접 유도한다.12
\frac{\partial \lambda}{\partial \theta} = - \left( \frac{\partial R}{\partial \lambda} \right)^{-1} \frac{\partial R}{\partial \theta}
여기서 R은 LCP의 잔여 함수(Residual Function)이다. 이 방법은 “Hard Contact“를 유지하면서도 정확한 그래디언트를 얻을 수 있어 물리적 엄밀성이 높지만, 역행렬 계산으로 인한 비용이 발생할 수 있다.7 특히 Dojo는 LCP 대신 비선형 보완 문제(NCP)로 정식화하고 Primal-Dual Interior Point Method를 사용하여 접촉의 불연속성을 부드럽게 완화(Relaxation)함으로써 더욱 안정적인 그래디언트를 제공한다.13

2.3 페널티 기반(Penalty-based) 및 스프링-댐퍼 모델

또 다른 접근법은 접촉을 매우 강한 스프링과 댐퍼 시스템으로 모델링하는 것이다. 물체가 겹치는 깊이(Penetration Depth)에 비례하여 반발력을 생성하는 이 방식은 본질적으로 연속적이고 미분 가능하다.16
f_c = -k_p \delta - k_d \dot{\delta}
이 방식은 구현이 간단하고 딥러닝 프레임워크(PyTorch, JAX 등)의 자동 미분(Autograd) 기능을 직접 활용하기 좋다. Google Brax나 NVIDIA Warp의 일부 구현이 이 방식을 채택하거나 지원한다.18 그러나 강체 거동을 모사하기 위해 스프링 상수를 매우 키우면 미분 방정식이 ’Stiff’해져서 수치적 불안정성을 야기할 수 있으며, 이를 해결하기 위해 매우 작은 시간 간격(Timestep)이 요구된다는 단점이 있다.20

2.4 그래디언트 기반 최적화와 진화 알고리즘의 상호보완

미분 가능한 시뮬레이션을 이용한 그래디언트 기반 최적화는 샘플 효율성 측면에서 압도적인 우위를 점한다. Xu et al. 11의 연구에 따르면, 로봇 손의 설계 최적화 문제에서 그래디언트 기반 방법은 모델 프리(Model-free) 강화학습이나 진화 알고리즘 대비 수렴 속도가 빠르고 더 높은 성능의 해를 찾아냈다. 하지만 그래디언트 방식은 국소 최적해(Local Minima)에 빠지기 쉽고, 미분 불가능한 이산적 설계 변수(예: 다리의 개수, 관절의 위상적 연결)를 직접 다루지 못한다는 한계가 있다.

따라서 최근에는 두 방법의 장점을 결합하는 시도가 이루어지고 있다. 예를 들어, 전체적인 토폴로지(Topology) 탐색은 진화 알고리즘이 담당하고, 세부적인 파라미터(Dimensioning) 최적화는 미분 가능한 시뮬레이션을 통해 수행하는 하이브리드 접근법이 그것이다.10 또한, ’미분 가능한 렌더링(Differentiable Rendering)’과 결합하여 시각 정보 처리를 포함한 전체 로봇 시스템을 최적화하는 연구로 확장되고 있다.22

3. 핵심 엔진 및 도구: 미분 가능한 물리 엔진 아키텍처 분석

이론적 가능성을 현실로 만든 것은 고성능 미분 가능한 물리 엔진들의 등장이다. 이들 엔진은 딥러닝 프레임워크와의 긴밀한 통합, GPU 가속, 그리고 특화된 수치 해석 기법을 통해 로봇 설계의 새로운 도구로 자리 잡았다.

3.1 Google Brax: 대규모 병렬 시뮬레이션의 표준

Google Brax는 JAX 라이브러리를 기반으로 구축된 미분 가능한 물리 엔진으로, **대규모 병렬 처리(Massively Parallel Simulation)**에 특화되어 있다.23

• 아키텍처적 특징: Brax의 모든 연산은 JAX의 JIT(Just-In-Time) 컴파일러를 통해 XLA(Accelerated Linear Algebra)로 최적화된다. 이는 CPU뿐만 아니라 GPU, TPU 가속기 상에서 단일 커널로 실행됨을 의미한다. 기존에는 시뮬레이션(CPU)과 정책 학습(GPU) 간의 데이터 병목(Data Marshalling)이 성능 저하의 주원인이었으나, Brax는 시뮬레이터와 RL 학습기를 동일한 가속기 메모리에 위치시켜 이를 제거했다.18
• 성능: 단일 GPU에서 수천에서 수만 개의 로봇 환경을 동시에 시뮬레이션할 수 있으며, 수백만 FPS(Frames Per Second)의 속도를 달성한다. 이는 진화 전략(ES)과 같은 모집단 기반 학습뿐만 아니라, 직접적인 분석적 그래디언트(Analytic Policy Gradient) 계산을 가능하게 하여 학습 시간을 분(Minutes) 단위로 단축시킨다.23
• 물리 모델: 최대 좌표계(Maximal Coordinates) 방식을 사용하여 각 강체의 상태를 독립적으로 관리하며, 관절 구속 조건은 PBD(Position Based Dynamics) 또는 가속화된 알고리즘을 통해 해결한다.

3.2 Dojo: 강체 역학의 정밀성과 안정성

Dojo는 로보틱스 연구를 위해 줄리아(Julia) 언어로 개발된 엔진으로, 물리적 정확성과 그래디언트의 부드러움을 최우선으로 한다.13

• 접촉 모델링의 혁신: Dojo는 접촉 역학을 비선형 보완 문제(NCP)로 정의하고, 내점법(Interior Point Method)을 사용하여 해결한다. 이는 접촉이 발생하는 순간의 급격한 변화를 수학적으로 매끄럽게 처리(Relaxation)하여, ‘Hard Contact’ 상황에서도 유의미하고 부드러운 그래디언트를 생성한다.12 이는 궤적 최적화(Trajectory Optimization)나 시스템 식별(System Identification)과 같이 정밀한 미분값이 요구되는 작업에서 타 엔진 대비 우수한 성능을 보인다.
• 비교 우위: MuJoCo나 Bullet과 같은 기존 엔진들이 유한 차분법(Finite Difference)에 의존하여 부정확하고 노이즈가 많은 그래디언트를 생성하는 반면, Dojo는 음함수 정리를 통한 해석적 그래디언트를 제공함으로써 복잡한 조작 작업(Manipulation)의 최적화 안정성을 보장한다.15

3.3 NVIDIA Warp: 이종 물리 현상의 통합

NVIDIA Warp는 GPU 가속을 극대화한 Python 프레임워크로, 강체뿐만 아니라 연성체(Soft Body), 유체(Fluid), 천(Cloth) 등 다양한 물리 현상을 통합적으로 다룰 수 있는 미분 가능한 시뮬레이터이다.25

• 커널 기반 최적화: Warp는 Python으로 작성된 물리 커널을 런타임에 CUDA 코드로 변환(Transpilation)하여 실행한다. 이는 C++ 수준의 성능을 Python의 생산성으로 구현하게 해주며, 자동 미분(Automatic Differentiation)을 통해 시뮬레이션 코드 전체를 학습 파이프라인의 일부로 편입시킨다.19
• 연성 로봇 설계: XPBD(Extended Position Based Dynamics) 알고리즘을 내장하여, 유연한 재질의 로봇이나 변형 가능한 물체를 조작하는 로봇의 설계를 지원한다. 이는 강체 역학에 국한되었던 기존 미분 엔진들의 한계를 넘어, 그리퍼(Gripper)의 패드 재질 최적화나 소프트 로봇의 형상 최적화 등 복잡한 상호작용 설계에 강점을 가진다.19

3.4 기타 엔진: DiffTaichi 및 ChainQueen

• DiffTaichi: Taichi 프로그래밍 언어를 기반으로 하며, 소스 코드 변환(Source Code Transformation)을 통해 그래디언트를 계산한다. 유체 역학이나 연속체 시뮬레이션에 강점이 있어, 로봇과 유체의 상호작용(예: 수중 로봇) 연구에 적합하다.27
• ChainQueen: 연성 로봇(Soft Robot)에 특화된 MPM(Material Point Method) 기반 시뮬레이터로, 재료의 영률(Young’s Modulus)이나 내부 구조를 미분 가능하게 최적화하는 데 사용된다.28

4. 주요 알고리즘 및 동시 최적화 프레임워크 심층 분석

미분 가능한 물리 엔진을 기반으로 실제 하드웨어와 제어 정책을 동시에 최적화하는 알고리즘들은 로봇 공학의 난제들을 해결하고 있다. 여기서는 대표적인 프레임워크인 DiffHand, Task2Morph, 그리고 **형태학적 사전 학습(Morphological Pretraining)**을 분석한다.

4.1 DiffHand: 매니퓰레이터 설계의 혁신

DiffHand는 접촉이 빈번하게 발생하는 조작 작업(Contact-rich Manipulation)을 위한 로봇 손(Dexterous Hand)의 형상과 제어를 엔드 투 엔드로 최적화하는 선구적인 프레임워크이다.29

• 변형 기반 파라미터화 (Deformation-based Parameterization): 기존의 CAD 모델 기반 설계는 미분 불가능한 경우가 많다. DiffHand는 이를 해결하기 위해 로봇의 링크 형상을 **변형 장(Deformation Field)**으로 표현한다. 기본 템플릿(예: 구, 실린더)에 ‘Cage-based Deformation’ 또는 선형 블렌딩 스키닝(LBS)을 적용하여, 제어점(Control Point)의 위치를 이동시킴으로써 형상을 연속적으로 변화시킨다. 이를 통해 손가락의 길이, 두께, 관절의 위치 및 축 방향 등을 미분 가능한 파라미터 \theta_h로 변환한다.29
• 최적화 루프: 알고리즘은 다음과 같은 순환 구조를 가진다.

1. 현재 하드웨어 \theta_h와 정책 \pi_\theta로 시뮬레이션 실행 (Forward Pass).
2. 목표 작업(예: 물체 회전)에 대한 손실 함수 계산.
3. 미분 가능한 시뮬레이터를 통해 손실에 대한 \nabla_{\theta_h} L과 \nabla_{\theta_c} L 역전파 (Backward Pass).
4. 경사 하강법을 통해 로봇의 형태와 제어기를 동시 업데이트.

• 성과 및 통찰: 실험 결과, DiffHand는 초기 구체(Sphere) 형태의 손가락을 작업에 최적화된 복잡한 곡면을 가진 손가락으로 진화시켰다. 특히, 물체를 안정적으로 잡기 위해 손가락 끝이 넓어지거나, 회전을 돕기 위해 비대칭적인 관절 구조를 형성하는 등 인간 엔지니어가 직관적으로 설계하기 힘든 형태학적 해법을 제시했다.31 이는 로봇 하드웨어가 제어의 어려움을 덜어주는 방향으로 진화함을 보여준다.

4.2 Task2Morph: 작업 적응형 메타 설계

Task2Morph는 DiffHand의 개념을 한 단계 확장하여, 단일 로봇을 최적화하는 것이 아니라 주어진 작업 특성에 맞춰 로봇의 형태를 가변적으로 생성하는 메타 설계(Meta-design) 프레임워크이다.32

• 작업 추상화 (Task Abstraction): 다양한 작업 환경(예: 물체의 크기, 무게, 마찰 계수, 목표 위치)을 정량화된 특징 벡터(Task Feature Vector) v_{task}로 추상화한다.
• 형태학 생성 네트워크 (Morphology Generation Network): 입력된 v_{task}를 바탕으로 최적의 하드웨어 파라미터 \theta_h를 출력하는 신경망 G(v_{task})를 학습시킨다. 즉, \theta_h = G(v_{task})가 되며, 전체 최적화는 이 생성 네트워크 G와 제어 정책 \pi를 동시에 학습하는 과정이 된다.
• 의의: 이 접근법은 ‘제로 샷(Zero-shot)’ 적응을 가능하게 한다. 새로운 작업(예: 더 무거운 물체 조작)이 주어졌을 때, 재학습 없이도 생성 네트워크가 즉시 적합한 하드웨어 구성을 제안한다.32 이는 로봇이 다양한 환경에 적응해야 하는 필드 로보틱스나 재난 구조 로봇 설계에 중요한 시사점을 준다.

4.3 형태학적 사전 학습 (Morphological Pretraining)과 다양성 붕괴의 해결

하드웨어와 제어를 처음부터 동시에 최적화(Joint Optimization)할 때 발생하는 주요 문제 중 하나는 **‘다양성 붕괴(Diversity Collapse)’**이다. 이는 모집단의 로봇들이 초기에 발견된 ‘제어하기 쉬운’ 특정 형태(예: 단순한 막대 구조)로 급격히 수렴하여, 더 높은 잠재력을 가진 복잡한 형태를 탐색하지 못하는 현상이다.33

이를 해결하기 위해 Strgar et al. 33은 형태학적 사전 학습 기법을 제안했다.

1. 유니버설 컨트롤러(Universal Controller) 학습: 먼저 수천만 개의 무작위 생성된 하드웨어 형태(Morphologies)에 대해 작동할 수 있는 범용 제어 정책(Universal Policy)을 미분 가능한 시뮬레이션 상에서 대규모로 학습시킨다. 이 컨트롤러는 로봇의 신체 구조 정보(Body Plan)를 입력으로 받아 동작을 생성한다.
2. 제로 샷 진화 (Zero-shot Evolution): 학습된 유니버설 컨트롤러를 고정(Freeze)한 상태에서, 하드웨어 구조만을 진화시킨다. 컨트롤러가 이미 다양한 신체에 적응할 수 있으므로, 하드웨어의 변경이 즉각적인 성능 변화로 반영된다. 이는 제어 정책을 처음부터 다시 학습할 필요 없이 하드웨어의 순수한 물리적 성능(Physical Fitness)을 평가할 수 있게 한다.
3. 결과: 이 방법은 기존 동시 최적화 대비 훨씬 다양하고 고성능인 로봇 디자인을 생성해냈다. 이는 로봇 설계에 있어 ’전이 학습(Transfer Learning)’의 개념을 도입한 것으로, 하드웨어 탐색의 효율성을 극대화한다.34

5. 응용 분야 및 구현 사례 연구 (Case Studies)

미분 가능한 하드웨어 설계 기술은 로봇 공학의 다양한 하위 분야에서 구체적인 성과를 내고 있다.

5.1 지각-제어-설계 루프: 센서 배치 최적화

로봇의 성능은 센서가 어디에 부착되어 어떤 정보를 수집하느냐에 크게 의존한다. 센서 배치가 잘못되면 아무리 우수한 제어 알고리즘도 실패할 수밖에 없다.

• 미분 가능한 센서 배치: MIT의 연구진은 로봇 표면의 각 위치에 센서가 존재할 확률을 파라미터화하고, Gumbel-Softmax와 같은 기법을 사용하여 이산적인 센서의 유무를 미분 가능한 형태로 근사했다.35 이를 통해 “최소한의 센서로 최대의 정보량(State Estimation Accuracy)을 얻는” 최적의 배치를 엔드 투 엔드로 학습했다.
• 성과: 네비게이션 로봇의 센서 위치를 최적화했을 때, 전문가가 수동으로 설계한 배치 대비 충돌 회피 성능이 8.4배 향상되었으며, 최적화 속도는 근사 그래디언트 방법보다 20배 이상 빨랐다.36 이는 하드웨어(센서 위치), 인지(Perception), 제어(Control)가 하나의 루프 안에서 최적화될 때의 시너지를 증명한다.

5.2 연성 로봇 (Soft Robotics) 공학

연성 로봇은 자유도(DoF)가 무한대에 가깝고 비선형성이 강해 전통적인 모델 기반 제어가 불가능에 가깝다. 미분 가능한 시뮬레이션은 이러한 연성 로봇 설계의 돌파구가 되고 있다.

• 재료 및 구조 최적화: ChainQueen 및 Warp 시뮬레이터를 활용하여 연성 로봇의 내부 격자(Voxel) 구조, 재료의 영률(Young’s Modulus), 그리고 공기압 챔버의 형상을 최적화한다.19
• 신체 활용 지능: 연구 사례에 따르면, 특정 궤적을 따라 움직이도록 연성 로봇의 다리 형상을 최적화한 결과, 복잡한 제어 신호 없이도 단순한 주기적 입력만으로 자연스러운 보행이 생성되었다. 이는 계산 기능을 신체에 위임(Offloading)하는 형태학적 컴퓨팅(Morphological Computation)의 실제 사례이다.2

5.3 현실 전이 (Sim-to-Real Transfer) 전략

시뮬레이션에서 최적화된 하드웨어를 실제 세계로 가져오는 것은 여전히 큰 도전이다. 이를 극복하기 위해 다음과 같은 전략들이 통합되고 있다.

• 시스템 식별의 미분화: 실제 로봇의 궤적 데이터를 수집한 후, 미분 가능한 시뮬레이터의 파라미터(마찰 계수, 질량 중심 등)를 역전파를 통해 실제 데이터와 일치하도록 보정한다.7 이는 시뮬레이터의 신뢰도(Fidelity)를 높여 현실 격차를 줄인다.
• 제조 제약 조건 포함: 제조 불가능한 설계(예: 공중에 떠 있는 부품, 너무 얇은 구조)를 방지하기 위해, 손실 함수에 제조 가능성(Manufacturability)에 대한 정규화 항(Regularization Term)을 추가하거나, 연결성(Connectivity)을 강제하는 그래프 기반 표현법을 사용한다.29

6. 한계점 및 미래 전망: 완전한 인공 생명체를 향하여

6.1 기술적 난제

• 현실 격차 (Reality Gap): 아무리 정교한 미분 가능한 시뮬레이터라도 실제 물리 세계의 복잡성(공기 저항, 마모, 센서 노이즈, 비정형 마찰 등)을 완벽히 모사할 수는 없다. 시뮬레이션에 과적합(Overfitting)된 하드웨어는 현실에서 오작동할 위험이 크다. 이를 해결하기 위해 도메인 무작위화(Domain Randomization)를 그래디언트 기반 학습에 어떻게 효과적으로 통합할지가 중요한 연구 주제이다.6
• 최적화 랜드스케이프의 복잡성: 하드웨어와 제어가 결합된 탐색 공간은 수많은 국소 최적해(Local Minima)를 가진다. 단순한 경사 하강법만으로는 전역 최적해(Global Optimum)에 도달하기 어려울 수 있다. 따라서 커리큘럼 학습(Curriculum Learning)이나 진화 알고리즘과의 하이브리드 접근이 필수적이다.

6.2 결론 및 전망

미분 가능한 하드웨어 설계는 로봇 공학의 패러다임을 ’조립’에서 ’성장’으로 변화시키고 있다. 물리 엔진의 발전과 엔드 투 엔드 학습 이론의 정립을 통해, 우리는 이제 로봇의 뼈대와 근육, 그리고 신경망을 하나의 수학적 프레임워크 안에서 동시에 빚어낼 수 있게 되었다.

Google Brax, Dojo, NVIDIA Warp와 같은 도구들은 이러한 설계를 가능케 하는 강력한 엔진이며, DiffHand나 Task2Morph와 같은 알고리즘은 그 위에서 작동하는 정교한 방법론이다. 하드웨어 복권을 극복하고 진정한 의미의 자율 적응형 로봇 시스템을 구현하기 위해, 미분 가능한 설계는 선택이 아닌 필수가 되어가고 있다. 미래의 로봇은 공장에서 찍어내는 고정된 기계가 아니라, 주어진 환경과 임무에 맞춰 스스로의 신체와 지능을 끊임없이 재구성하고 진화시키는 인공 생명체(Artificial Life)에 가까워질 것이다.33

7. 참고 자료

1. Co-Designing Hardware and Control for Robot Hands* - Columbia University, https://roam.me.columbia.edu/sites/default/files/content/papers/science2021_focus_co-optimization.pdf
2. Differentiable Simulation Methods for Robotic Agent Design - DSpace@MIT, https://dspace.mit.edu/handle/1721.1/140018
3. The Hardware Lottery, https://hardwarelottery.github.io/
4. Hardware Lottery in AI Research - Emergent Mind, https://www.emergentmind.com/topics/hardware-lottery
5. The Hardware Lottery - Communications of the ACM, https://cacm.acm.org/research/the-hardware-lottery/
6. Co-design methodology for rapid prototyping of modular robots in care settings - Frontiers, https://www.frontiersin.org/journals/robotics-and-ai/articles/10.3389/frobt.2025.1581506/full
7. End-to-end differentiable physics for learning and control - DSpace@MIT, https://dspace.mit.edu/handle/1721.1/126615
8. End-to-End Differentiable Physics for Learning and Control - NIPS papers, https://papers.nips.cc/paper/7948-end-to-end-differentiable-physics-for-learning-and-control
9. COGENT: Co-design of Robots with GFlowNets - OpenReview, https://openreview.net/pdf?id=IfLKMWrroL
10. Efficient automatic design of robots - PMC - NIH, https://pmc.ncbi.nlm.nih.gov/articles/PMC10576117/
11. Design and Control Co-Optimization for Automated Design Iteration of Dexterous Anthropomorphic Soft Robotic Hands - arXiv, https://arxiv.org/html/2403.09933v1
12. Dojo: A Differentiable Physics Engine for Robotics - YouTube, https://www.youtube.com/watch?v=brNzbMxZ0y0
13. Dojo: A Differentiable Physics Engine for Robotics - arXiv, https://arxiv.org/html/2203.00806v5
14. End-to-End Differentiable Physics for Learning and … - DSpace@MIT, https://dspace.mit.edu/bitstream/handle/1721.1/126615/7948-end-to-end-differentiable-physics-for-learning-and-control.pdf?sequence=2&isAllowed=y
15. Dojo: A Differentiable Simulator for Robotics, https://msl.stanford.edu/papers/howell_dojo_2022.pdf
16. Modeling and design of robotic systems having spring-damper actuators - research.chalmers.se, https://research.chalmers.se/publication/5698/file/5698_Fulltext.pdf
17. “modern contact dynamics” - Why are spring-damper contact models not being used anymore for dynamic simulations in robotics?, https://robotics.stackexchange.com/questions/15521/modern-contact-dynamics-why-are-spring-damper-contact-models-not-being-used
18. google/brax: Massively parallel rigidbody physics simulation on accelerator hardware. - GitHub, https://github.com/google/brax
19. Building Robotic Mental Models with NVIDIA Warp and Gaussian …, https://developer.nvidia.com/blog/building-robotic-mental-models-with-nvidia-warp-and-gaussian-splatting/
20. Contact Models in Robotics: a Comparative Analysis - arXiv, https://arxiv.org/pdf/2304.06372
21. Co-designing versatile quadruped robots for dynamic and energy-efficient motions | Robotica | Cambridge Core, https://www.cambridge.org/core/journals/robotica/article/codesigning-versatile-quadruped-robots-for-dynamic-and-energyefficient-motions/4BB90A9CB0BCBC185613E0DC7D0D88B0
22. dr-robot.pdf, https://drrobot.cs.columbia.edu/assets/dr-robot.pdf
23. Brax - A Differentiable Physics Engine for Large Scale Rigid Body Simulation - Datasets and Benchmarks Proceedings, https://datasets-benchmarks-proceedings.neurips.cc/paper/2021/file/d1f491a404d6854880943e5c3cd9ca25-Paper-round1.pdf
24. Brax–A Differentiable Physics Engine for Large Scale Rigid Body …, https://arxiv.org/abs/2106.13281
25. Master thesis Kucera Ales - ČVUT, https://dspace.cvut.cz/bitstream/handle/10467/122471/F3-DP-2025-Kucera-Ales-Masters_Thesis.pdf
26. Learning Deployable Locomotion Control via Differentiable Simulation - arXiv, https://arxiv.org/html/2404.02887v2
27. A Review of Differentiable Simulators - IEEE Xplore, https://ieeexplore.ieee.org/iel8/6287639/6514899/10589638.pdf
28. Soft Robot Design, Manufacturing, and Operation Challenges: A Review - MDPI, https://www.mdpi.com/2504-4494/8/2/79
29. Science and Systems XVII - Online Proceedings - Robotics, https://www.roboticsproceedings.org/rss17/p008.html
30. An End-to-End Differentiable Framework for Contact-Aware Robot Design - People, https://people.csail.mit.edu/jiex/papers/DiffHand/paper.pdf
31. Parameterized Quasi-Physical Simulators for Dexterous Manipulations Transfer - arXiv, https://arxiv.org/html/2404.07988v2
32. Task2Morph: Differentiable Task-inspired Framework for Contact-Aware Robot Design, https://arxiv.org/html/2403.19093v1
33. Accelerated co-design of robots through morphological pretraining - arXiv, https://arxiv.org/html/2502.10862v1
34. Accelerated co-design of robots through morphological pretraining - ResearchGate, https://www.researchgate.net/publication/389091144_Accelerated_co-design_of_robots_through_morphological_pretraining
35. Co-Learning of Task and Sensor Placement for Soft Robotics - DSpace@MIT, https://dspace.mit.edu/bitstream/handle/1721.1/143791/Co-Learning_of_Task_and_Sensor_Placement_for_Soft_Robotics.pdf?sequence=2
36. Certifiable Robot Design Optimization using Differentiable Programming, https://www.roboticsproceedings.org/rss18/p037.pdf