LLM의 한계를 넘다: 데이터가 아닌 '인과(Causality)'를 학습하는 C-WM의 핵심 원리

최근 거대 언어 모델(LLM)은 놀라운 추론 능력을 보여주고 있습니다. 하지만 이들은 본질적으로 관찰된 데이터의 통계를 학습한 결과물이라는 한계를 가집니다.

현실 세계를 조작하고 예측해야 하는 로봇 공학이나 자율 주행과 같은 분야에서는 단순히 '무엇'이 일어날지 아는 것을 넘어, '왜' 그런 결과가 발생하는지 이해해야 합니다.

진정한 자율 지능은 관찰되지 않은 낯선 상황에서도 "만약 내가 이렇게 행동한다면?"이라는 질문에 답할 수 있어야 합니다. 이것이 바로 인과성(Causality)의 영역입니다.

오늘 우리는 LLM을 넘어선 차세대 자율 시스템의 청사진, 인과 월드 모델(C-WM)과 이를 활용한 혁신적인 개입 기반 계획(Intervention-based Planning)의 원리를 심도 있게 탐구해 보겠습니다.

월드 모델의 재해석: 왜 인과성이 필요한가?

전통적인 강화 학습(RL)의 월드 모델은 환경의 변화를 확률적으로 예측하는 $\hat{P}(s_{t+1} | s_t, a_t)$ 함수를 학습합니다. 이 방식은 복잡한 관찰(Observation)을 압축된 잠재 상태(Latent State, $z$)로 변환하여 미래를 내다봅니다.

하지만 기존 방식은 환경의 모든 요소를 하나의 뭉뚱그려진 덩어리로 표현한다는 치명적인 약점이 있습니다. 이는 크게 두 가지 문제를 야기합니다.

외삽(Extrapolation)의 취약성: 학습 데이터와 조금만 다른 낯선 환경에 놓이면 예측 성능이 급격히 떨어집니다. 환경의 독립적인 메커니즘을 이해한 것이 아니라, 단순한 상관관계만 암기했기 때문입니다.
설명력의 부재: 시스템이 왜 그런 예측을 했는지 인간이 이해할 수 없습니다. 안전이 최우선인 분야에서는 이것이 결정적인 걸림돌이 됩니다.

"우리는 데이터의 상관관계를 넘어, 환경을 구성하는 불변의 법칙을 이해하는 모델이 필요합니다."

인과 표현 학습 (CRL) 이란 무엇인가?

이 문제를 해결하기 위한 열쇠가 바로 인과 표현 학습(Causal Representation Learning, CRL)입니다.

CRL의 목표는 관찰된 데이터로부터 환경을 구성하는 독립적이고 불변적인(Invariant) 인과적 요인들을 추출해내는 것입니다. 핵심은 '불변성'입니다. 날씨가 바뀌거나 배경이 달라져도, 물리학의 법칙과 같은 인과 메커니즘은 변하지 않아야 합니다.

C-WM(Causal World Model)은 잠재 상태 $z$를 여러 개의 독립적인 요인($z_1, z_2, \dots$)으로 강제로 분리합니다. 예를 들어 물체의 위치, 색상, 중력 계수 등을 서로 다른 방에 격리하여 저장하는 것과 같습니다.

Causal World Model의 설계 및 작동 원리

C-WM의 잠재 공간은 구조적 인과 모델(SCM)처럼 작동합니다. 여기서 에이전트의 행동은 단순한 입력이 아니라, 이 잠재 요인들에 대한 직접적인 개입(Intervention)으로 작용합니다.

C-WM의 학습 목표는 다음 두 가지입니다.

분리(Disentanglement): 각 잠재 요인은 서로 통계적으로 독립적이어야 하며, 각기 다른 관찰 특성을 제어해야 합니다.
불변성(Invariance): 행동이 특정 요인에 미치는 영향은 환경의 배경 노이즈가 바뀌어도 일정하게 유지되어야 합니다.

이를 구현하기 위한 구조를 의사 코드(Pseudo-Code) 형태로 살펴보겠습니다.

// 인과 잠재 상태 Z의 정의
// 예: 운동(Motion), 색상(Color), 텍스처(Texture), 환경(Env)
Z = (Z_motion, Z_color, Z_texture, Z_environment)

// 1. 기본 재구성 및 KL 손실 (Standard VAE Loss)
Loss_Base = Reconstruction(X, X_hat) + KL_Divergence(Q(Z|X) || P(Z))

// 2. 인과 정규화 항 (Domain Invariance)
// D1, D2: 서로 다른 환경 도메인 (예: 낮 vs 밤)
// 행동 A가 Z에 미치는 영향(T)은 도메인과 무관해야 함
Loss_Causal = E_{D1, D2} [ || T(Z_{D1}, A) - T(Z_{D2}, A) || ]

// 최종 손실 함수
Total_Loss = Loss_Base + (lambda * Loss_Causal)

개입 기반 계획 (Intervention-based Planning)

C-WM이 환경의 인과 구조를 제대로 학습했다면, 에이전트는 이제 단순한 예측을 넘어 '개입(Intervention)'을 통한 계획을 세울 수 있습니다. 이는 Judea Pearl의 'Do-Calculus' 개념을 모델 기반 RL에 도입한 것입니다.

기존의 관찰 기반 예측은 '상관관계'에 의존합니다. 예를 들어, 도로에서 앞차의 브레이크등이 켜지는 것을 보고 감속을 예측하는 식입니다.

하지만 에이전트가 직접 브레이크를 밟는 행위는 다릅니다. 이는 환경의 통계적 관계를 끊고, 특정 변수의 값을 강제로 설정하는 가상 실험입니다. 개입 기반 계획은 다음과 같이 작동합니다.

현재의 잠재 상태를 인코딩합니다.
미래의 다양한 행동 시퀀스를 탐색합니다.
각 행동에 대해 인과적으로 분리된 요인에만 영향을 미치는 전이 함수를 사용하여 미래를 시뮬레이션합니다.
가장 높은 보상을 주는 행동을 선택합니다.

실용적 적용: 자율 주행의 강건성 확보

이 기술이 실제로 어떻게 쓰일 수 있는지 자율 주행 시나리오를 통해 알아보겠습니다.

우리의 훈련 데이터에서 '젖은 노면'은 항상 '낮은 속도'와 높은 상관관계를 보였다고 가정해 봅시다. 일반적인 월드 모델은 이 상관관계를 맹신하여, "현재 속도가 낮으니 노면이 젖었을 것이다"라고 잘못 추론할 수 있습니다.

하지만 C-WM은 다릅니다. 이 모델은 다음과 같이 요인을 명확히 분리하고 있습니다.

$Z_{speed}$: 차량의 속도
$Z_{road}$: 노면 상태 (건조/젖음)
$Z_{physics}$: 마찰 계수

에이전트가 고속 주행 중 급제동($A_{brake}$)을 계획할 때, C-WM은 $do(A_{brake})$ 연산을 수행합니다.

모델은 $Z_{road}$(노면 상태)와 $Z_{physics}$(물리 법칙)가 서로 독립적인 인과 요인임을 알고 있습니다. 따라서 현재 속도가 어떻든 상관없이, 노면 상태가 마찰 계수에 미치는 '진짜 물리적 영향'만을 정확히 계산하여 정지 거리를 예측합니다.

이는 시스템이 단순한 통계적 패턴이 아닌, 현실 세계의 물리 법칙에 기반하여 의사결정을 내리도록 보장합니다.

💡 핵심 요약 및 인사이트

인과 월드 모델(C-WM)과 개입 기반 계획은 지능형 에이전트의 패러다임을 바꾸고 있습니다.

구조적 이해: 인과 표현 학습을 통해 에이전트는 세상의 불변하는 메커니즘을 파악합니다.
강건한 의사결정: 상관관계가 아닌 인과관계에 기반하므로, 훈련 데이터에 없는 낯선 상황(OOD)에서도 안전하게 작동합니다.
반사실적 추론: "만약 내가 다르게 행동했다면?"과 같은 질문에 답하며 스스로 학습하고 개선할 수 있습니다.

C-WM은 자율 시스템의 안전성과 일반화 능력을 획기적으로 높이며, 진정한 범용 인공지능(AGI)으로 나아가는 중요한 디딤돌이 될 것입니다.