6.25 강인공지능(AGI) 달성에 대한 괴델 정리의 이론적 제한

1. 강인공지능의 정의와 형식적 특성화

강인공지능(Artificial General Intelligence, AGI)은 인간 수준의 범용적 지적 능력을 갖춘 인공지능 시스템을 지칭한다. 좁은 인공지능(narrow AI)이 특정 과제에 한정된 능력을 갖는 것과 달리, AGI는 임의의 지적 과제를 인간과 동등하거나 그 이상의 수준으로 수행할 수 있어야 한다. 이 정의는 수학적 추론, 자연어 이해, 상식적 판단, 창조적 문제 해결, 새로운 영역으로의 전이 학습 등을 포괄한다.

AGI의 형식적 특성화를 시도할 때, 불완전성 정리와의 접점이 즉시 드러난다. AGI가 수학적 추론을 수행하는 능력을 갖추려면, 이 시스템은 어떤 형태로든 형식적 추론 체계를 내포하거나 시뮬레이션해야 한다. 이 형식적 추론 능력이 페아노 산술을 포함하는 수준에 도달하는 순간, 불완전성 정리의 적용 대상이 된다.

Legg와 Hutter(2007)는 범용 지능(universal intelligence)을 모든 가능한 환경에서의 보상 최대화 능력으로 형식화하였다.

$\Upsilon(\pi) = \sum_{\mu \in \mathcal{E}} 2^{-K(\mu)} V_\mu^\pi$

여기서 $\pi$ 는 에이전트 정책, $\mu$ 는 환경, $K(\mu)$ 는 환경의 콜모고로프 복잡도(Kolmogorov complexity), $V_\mu^\pi$ 는 환경 $\mu$ 에서 정책 $\pi$ 가 달성하는 기대 가치이다. 이 정의는 이론적으로 정밀하나, 콜모고로프 복잡도 자체가 계산 불가능(uncomputable)하므로 실용적으로 계산할 수 없다. 이 계산 불가능성은 범용 지능의 형식적 정의 자체에 계산 이론적 한계가 내재함을 보여 준다.

2. 불완전성 정리의 AGI에 대한 직접적 적용

불완전성 정리가 AGI에 부과하는 이론적 제한을 체계적으로 분석한다.

제한 1: 수학적 완전성의 불가능. AGI가 무모순적이고 페아노 산술을 포함하는 형식 체계 $\mathcal{F}$ 를 추론 기반으로 사용한다면, 제1 불완전성 정리에 의해 $\mathcal{F}$ 내에서 증명도 반증도 불가능한 참인 산술적 명제 $G$ 가 존재한다. AGI는 이 명제에 대해 올바른 판정을 내릴 수 없다. 구체적으로, AGI에게 $G$ 의 참 또는 거짓을 판정하도록 요청하면, 시스템은 세 가지 선택지에 직면한다. (i) “증명 불가능“이라고 응답한다—이는 정확하지만 불완전하다. (ii) 잘못된 판정을 내린다—이는 무모순성을 유지하지만 오류를 범한다. (iii) $\mathcal{F}$ 보다 강력한 체계 $\mathcal{F}'$ 로 전환한다—그러나 $\mathcal{F}'$ 에 대해서도 동일한 문제가 재발한다.

제한 2: 자기 무모순성의 검증 불가능. 제2 불완전성 정리에 의해, AGI는 자신이 사용하는 형식 체계의 무모순성을 해당 체계 내에서 증명할 수 없다. 이는 AGI가 자신의 추론이 모순을 포함하지 않음을 스스로 보장할 수 없음을 의미한다. 자기 무모순성의 검증 불가능은 AGI의 신뢰성(reliability) 보장에 근본적 한계를 설정한다.

제한 3: 보편적 결정 절차의 부재. 불완전성 정리의 귀결로, 충분히 표현력 있는 형식 체계에서 모든 명제의 참/거짓을 판정하는 보편적 결정 절차(universal decision procedure)는 존재하지 않는다. AGI가 모든 수학적 문제를 올바르게 해결하는 보편적 수학적 능력을 갖추는 것은 원리적으로 불가능하다.

3. AGI의 추론 체계가 형식 체계에 해당하는가

불완전성 정리의 AGI에 대한 적용 가능성은 AGI의 추론 체계가 괴델 정리의 전제 조건을 충족하는지에 의존한다. 이 전제 조건은 (i) 재귀적 공리화 가능성, (ii) 무모순성, (iii) 페아노 산술의 포함이다. 이 조건들의 충족 여부를 검토한다.

재귀적 공리화 가능성. 디지털 컴퓨터에서 실행되는 모든 프로그램은 유한한 명령 집합에 의해 정의되며, 이 명령 집합은 원리적으로 재귀적으로 열거 가능하다. 따라서 디지털 AGI의 “공리”—프로그램 코드, 학습된 파라미터, 추론 규칙—는 재귀적으로 기술 가능하다. 이 조건은 충족된다.

무모순성. AGI가 무모순적이어야 하는지는 설계 목표에 의존한다. 무모순적이지 않은 체계에서는 어떤 명제든 도출 가능하므로(폭발 원리, principle of explosion), 무모순성은 유의미한 추론을 위해 필수적이다. 따라서 실용적 AGI는 적어도 국소적 무모순성(local consistency)을 유지해야 한다.

페아노 산술의 포함. AGI가 기본적인 산술 연산을 수행할 수 있어야 하는 것은 범용 지능의 최소 요건이다. 자연수의 덧셈과 곱셈에 대한 기본적 사실을 올바르게 다룰 수 있는 체계는 페아노 산술의 핵심적 부분을 내포한다.

이 분석에 의해, 디지털 컴퓨터에서 구현되는 무모순적 AGI는 불완전성 정리의 적용 대상이 됨이 확인된다. 불완전성 정리의 전제 조건을 회피하는 유일한 방법은 (i) 재귀적 공리화를 포기하거나(비알고리즘적 계산), (ii) 무모순성을 포기하거나(초일관적 논리), (iii) 산술적 표현력을 포기하는 것이며, 이 각각은 AGI의 기능적 요건과 긴장 관계에 있다.

4. 루카스-펜로즈 논변의 AGI에 대한 재해석

루카스(Lucas, 1961)와 펜로즈(Penrose, 1989)의 논변은 불완전성 정리로부터 “기계는 인간의 수학적 능력에 도달할 수 없다“는 결론을 도출하려 한다. 이 논변의 핵심 구조는 다음과 같다. 인간 수학자는 자신의 형식 체계의 괴델 문장 $G$ 가 참임을 “인식“할 수 있으나, 기계는 이를 증명할 수 없으므로, 인간의 수학적 능력은 기계의 능력을 넘어선다.

이 논변은 여러 차원에서 비판을 받았다. 첫째, 인간이 임의의 형식 체계의 괴델 문장을 올바르게 판정할 수 있다는 전제가 정당화되지 않는다. 인간의 수학적 직관이 항상 정확한 것은 아니며, 인간 역시 오류를 범한다. 둘째, 인간의 추론 체계가 무모순적이라는 가정이 검증되지 않았다. 인간이 무모순적이지 않다면, 불완전성 정리의 적용 전제 자체가 성립하지 않으며, 인간과 기계의 비교가 무효화된다.

AGI의 맥락에서 이 논변을 재해석하면, 불완전성 정리는 AGI가 인간의 수학적 능력에 도달할 수 없음을 증명하지 않는다. 불완전성 정리가 증명하는 것은 AGI가 단일 형식 체계의 한계 내에서 작동하는 한 특정 명제를 증명할 수 없다는 것이며, 이 한계는 인간에게도 동등하게 적용될 수 있다. 불완전성 정리는 기계와 인간을 구분하는 논변이 아니라, 형식적 추론 체계 일반에 적용되는 보편적 한계이다.

5. 형식 체계의 동적 확장과 AGI의 가능성

불완전성 정리의 제약을 완화하는 한 가지 전략은 형식 체계의 동적 확장(dynamic extension)이다. AGI가 단일 고정된 형식 체계에 머무르지 않고, 새로운 공리를 추가하거나 더 강력한 체계로 전환하는 능력을 갖추면, 이전 체계에서 증명 불가능했던 명제를 새로운 체계에서 증명할 수 있다.

페아노 산술 PA에서 증명 불가능한 괴델 문장 $G_{\text{PA}}$ 는, PA에 $\text{Con}(\text{PA})$ (PA의 무모순성 진술)를 공리로 추가한 체계 $\text{PA} + \text{Con}(\text{PA})$ 에서 증명 가능하다. 이 과정을 반복하여 초한 순서수(transfinite ordinal)에 의해 색인된 형식 체계의 계층을 구축할 수 있다.

$\text{PA} \subset \text{PA}_1 \subset \text{PA}_2 \subset \cdots \subset \text{PA}_\alpha \subset \cdots$

그러나 이 확장은 무한 후퇴(infinite regress)를 수반한다. 각 확장된 체계에도 괴델 정리가 적용되어 새로운 증명 불가능 명제가 발생하며, 이를 해결하려면 다시 확장이 필요하다. 또한 어떤 공리를 추가할 것인지의 결정은 체계 외부의 판단을 요구하며, 이 판단의 정당화는 또 다른 메타수학적 문제를 야기한다.

Turing(1939)은 박사 학위 논문 “Systems of Logic Based on Ordinals“에서 이 확장 과정을 체계적으로 분석하였으며, 순서수에 의한 논리 체계의 계층이 불완전성을 해소하지 못함을 보였다. 이 결과는 동적 확장 전략의 원리적 한계를 확인한다.

6. AGI에 대한 불완전성 정리의 실질적 영향 평가

불완전성 정리가 AGI에 부과하는 제한의 실질적 영향을 평가해야 한다.

과대평가의 위험. 불완전성 정리를 AGI의 불가능성 증명으로 해석하는 것은 과대평가이다. 불완전성 정리가 보이는 것은 AGI가 모든 수학적 명제를 올바르게 판정할 수 없다는 것이지, AGI가 지능적으로 행동할 수 없다는 것이 아니다. 인간 역시 모든 수학적 명제를 올바르게 판정할 수 없으나 지능적이다. AGI의 목표가 인간 수준의 지능이라면, 불완전성 정리에 의한 한계는 인간에게도 적용되므로, AGI가 이 한계를 공유하는 것은 AGI의 “인간 수준” 달성과 모순되지 않는다.

과소평가의 위험. 반대로, 불완전성 정리의 함의를 무시하는 것도 위험하다. AGI가 자신의 추론의 정확성을 스스로 완전히 검증할 수 없다는 결과는, AGI의 안전성과 신뢰성 보장에 실질적 제약을 부과한다. 특히, AGI가 안전 필수(safety-critical) 영역에서 자율적으로 의사 결정을 수행할 때, 자기 검증의 한계는 외부 감독의 필요성을 이론적으로 정당화한다.

적절한 평가. 불완전성 정리는 AGI의 특정 능력—수학적 전지(omniscience), 완전한 자기 검증—의 불가능성을 확립하지만, AGI 일반의 불가능성을 함의하지 않는다. 이 제한은 AGI 설계에서 고려해야 할 이론적 조건이지, AGI 연구를 포기해야 하는 근거가 아니다. 인간의 지능이 불완전성 정리의 제약 하에서도 강력하게 작동하듯, AGI 역시 이 제약을 수용하면서 실용적으로 강력한 지능을 달성할 수 있는 가능성이 열려 있다.

7. AGI 설계에 대한 방법론적 함의

불완전성 정리가 AGI 설계에 부과하는 방법론적 함의는 다음과 같이 정리된다.

첫째, AGI는 단일 형식 체계에 의존하지 않는 다원적(pluralistic) 추론 구조를 채택해야 한다. 연역적 추론, 귀납적 추론, 유비적 추론, 확률적 추론 등 다양한 추론 양식의 통합이 단일 형식 체계의 불완전성을 실천적으로 보완할 수 있다.

둘째, AGI의 자기 검증 한계를 인정하고, 외부 검증 메커니즘을 설계에 내장해야 한다. 자기 무모순성을 스스로 증명할 수 없으므로, 독립적인 검증 체계에 의한 교차 검증이 안전성 보장의 필수 요소이다.

셋째, AGI의 성능 평가에서 “완전성“을 기준으로 삼는 것은 부적절하다. 불완전성 정리에 의해 어떤 추론 체계도 완전할 수 없으므로, AGI의 평가 기준은 실용적 과제에서의 성능, 오류의 탐지와 수정 능력, 불확실성의 적절한 처리 등 실천적 차원에서 설정되어야 한다.

이러한 분석은 괴델의 불완전성 정리가 AGI의 불가능성이 아니라 AGI의 설계 공간에 대한 이론적 제약 조건을 제공하며, 이 제약 조건의 정확한 이해가 AGI 연구의 올바른 방향 설정에 필수적임을 확인한다.