다중 에이전트(MARL) 정복: QMIX vs VDN, 최적의 아키텍처는?

💡 AI Insight: MARL 아키텍처의 핵심

자율 주행과 로봇 공학의 미래인 '다중 에이전트 강화 학습(MARL)'은 개별 행동과 전체 목표 사이의 균형을 맞추는 것이 핵심입니다. 본 글에서는 이 난제를 해결하는 CTDE 패러다임과, 이를 실제로 구현하는 두 가지 강력한 아키텍처인 VDN과 QMIX의 작동 원리를 심층 분석합니다. 단순 합산의 미학인 VDN과 비선형 협력을 가능케 하는 QMIX의 차이를 통해 최적의 AI 설계 전략을 제시합니다.

다중 에이전트 강화 학습(MARL)은 자율 주행, 로봇 공학, 복잡한 시뮬레이션 환경에 이르기까지 광범위하게 적용되는 핵심 기술입니다. 하지만 MARL 시스템을 설계하는 것은 단일 에이전트 시스템과는 차원이 다른 어려움을 동반합니다.

개발자들은 부분 관측(Partial Observability), 에이전트 간의 동적 상호작용, 그리고 환경의 비정상성(Non-stationarity)이라는 거대한 난관에 직면하게 됩니다.

이 가이드에서는 이러한 복잡성을 효율적으로 해결하는 핵심 방법론인 중앙 집중식 훈련, 분산식 실행(CTDE) 패러다임과 이를 구현하는 선도적인 아키텍처인 VDN 및 QMIX를 심도 있게 다룹니다. 우리는 단순한 정의를 넘어, '어떻게' 동작하며 '왜' 이 구조가 필수적인지를 구체적인 구현 관점에서 파헤쳐 보겠습니다.

1. 딜레마의 해결책: CTDE 패러다임

다중 에이전트 시스템에서 가장 큰 딜레마는 '훈련과 실행 간의 정보 불균형'입니다. 에이전트는 실제 환경에서 분산되어 작동하므로, 실행 시점에는 다른 에이전트의 행동이나 전체 환경 상태(Global State)를 알 수 없습니다.

그러나 아이러니하게도, 성공적인 학습을 위해서는 이러한 전체 정보가 반드시 필요합니다. CTDE(Centralized Training, Decentralized Execution)는 이 문제를 해결하는 표준 접근 방식입니다.

CTDE의 작동 원리

훈련 단계에서는 모든 에이전트의 관측($o_i$)과 행동($a_i$)을 중앙 집중식 크리틱(Critic)이 수집합니다. 이를 통해 전체 상태 $s$를 기반으로 가치 함수 $Q_{tot}(s, \mathbf{a})$를 학습합니다. 여기서 중앙 집중식 학습은 복잡한 협력 패턴과 보상 할당 문제를 해결하는 열쇠가 됩니다.

반면, 실행 단계에서는 중앙 크리틱을 과감히 폐기합니다. 각 에이전트 $i$는 오직 자신의 관측 $o_i$만을 사용하여 분산된 정책에 따라 행동을 독립적으로 결정합니다. 이것이 실세계 적용을 위한 필수 조건입니다.

CTDE의 성공은 전역 가치 함수 $Q_{tot}$를 개별 에이전트의 국소 가치 함수 $Q_i$로 어떻게 효율적으로 분해하고 일치시키는지에 달려 있습니다.

2. 크레딧 할당 문제와 IGM 조건

팀 전체가 긍정적인 보상을 받았을 때, 과연 누구의 공이 컸을까요? 이 보상에 누가 얼마나 기여했는지 판단하는 난제를 크레딧 할당(Credit Assignment) 문제라고 합니다.

이 문제를 해결하고 CTDE를 성공적으로 구현하기 위해서는 개별-전체 최적 일치 조건(IGM)을 만족해야 합니다.

IGM 조건의 핵심

IGM 조건은 직관적입니다. '전체의 최적 행동이 개별 에이전트들의 최적 행동의 조합과 같아야 한다'는 것입니다. 이를 수식으로 표현하면 다음과 같습니다.

\mathbf{a}^* = (\text{argmax}_{a_1} Q_1, ..., \text{argmax}_{a_N} Q_N)

이 조건이 충족되어야 훈련 시의 중앙 최적화 목표가 실행 시의 분산된 최적화 목표와 완벽하게 일치하게 됩니다. 오늘 다룰 VDN과 QMIX는 바로 이 IGM 조건을 만족시키기 위해 '효용 분해(Utility Decomposition)'를 수행하는 아키텍처입니다.

3. VDN: 단순함이 가진 강력한 힘

VDN(Value Decomposition Networks)은 효용 분해를 구현하는 가장 직관적인 방법입니다. VDN은 전체 가치 함수 $Q_{tot}$가 개별 에이전트 가치 함수의 '단순 합산'으로 분해될 수 있다고 가정합니다.

Q_{tot}(s, \mathbf{a}) = \sum_{i=1}^{N} Q_i(o_i, a_i)

이 아키텍처는 에이전트 간의 상호작용이 주로 가법적(Additive)일 때 매우 효과적입니다. 단순 합산 구조는 개별 $Q_i$를 독립적으로 최대화하는 것이 자동으로 전체 $Q_{tot}$를 최대화하도록 수학적으로 보장합니다.

예를 들어, 여러 대의 청소 로봇이 방을 청소하는 상황을 생각해 봅시다. 각 로봇이 자신의 구역을 열심히 청소하면(개별 최적화), 결과적으로 전체 방의 청결도(전체 최적화)는 높아집니다. VDN은 이러한 독립적 기여가 지배적인 환경에서 최고의 비용 효율을 보여줍니다.

4. QMIX: 비선형 단조 결합의 혁신

하지만 VDN에는 한계가 있습니다. 두 에이전트가 협력하여 시너지를 낼 때 발생하는 복잡한 비선형 상호작용을 포착하기 어렵다는 점입니다. QMIX는 이 문제를 해결하기 위해 등장했습니다.

단조 조건(Monotonicity Constraint)

QMIX의 핵심 아이디어는 $Q_{tot}$가 개별 $Q_i$에 대해 '단조 증가'해야 한다는 조건을 강제하는 것입니다. 즉, 한 에이전트의 성과가 좋아지면, 전체 팀의 성과도 반드시 좋아져야 한다는 논리입니다.

\frac{\partial Q_{tot}}{\partial Q_i} \ge 0 \quad \forall i

믹싱 네트워크와 하이퍼네트워크

QMIX는 믹싱 네트워크(Mixing Network)라는 별도의 구조를 사용하여 $Q_{tot}$를 생성합니다. 가장 큰 혁신은 이 네트워크의 가중치(Weight)가 고정된 값이 아니라, 전체 상태 $s$에 따라 동적으로 생성된다는 점입니다.

이를 위해 하이퍼네트워크(Hypernetwork)를 사용합니다. 하이퍼네트워크는 전체 상태를 입력받아 믹싱 네트워크의 가중치를 실시간으로 출력합니다. 이를 통해 $Q_{tot}$는 상태에 따라 비선형적으로 변하면서도, 개별 $Q_i$에 대해서는 여전히 단조성을 유지하게 됩니다.

        // QMIX 핵심 로직 Pseudo-Code

        1. 개별 Q 함수 생성:

           Q_i = Agent_i_Network(o_i, a_i)

        2. 하이퍼네트워크 가중치 생성 (상태 s 반영):

           W_mixer = Hypernetwork_W(s)

           b_mixer = Hypernetwork_b(s)

        3. 믹싱 네트워크 계산 (ReLU로 비선형성/양수 강제):

           Q_tot = ReLU(Q_i @ W_mixer + b_mixer)

스타크래프트 II (SMAC)와 같은 환경이 대표적인 예입니다. 유닛들이 특정 적을 점사(Focus fire)할 때 발생하는 폭발적인 시너지는 단순 합산으로는 설명되지 않습니다. QMIX는 전황(Global State)을 읽고 가중치를 동적으로 조절하여 이러한 전술적 협력을 가능하게 합니다.

5. VDN vs QMIX: 당신의 선택은?

VDN과 QMIX는 모두 CTDE 패러다임 하에서 IGM 조건을 보장하는 훌륭한 도구입니다. 사실 QMIX는 VDN을 일반화한 형태로 볼 수 있습니다. (VDN은 가중치가 1로 고정된 특수 케이스입니다.)

VDN 선택: 에이전트 간 상호작용이 단순하거나, 각자의 역할이 독립적인 경우(예: 분산 센서 네트워크). 훈련 속도와 안정성이 뛰어납니다.
QMIX 선택: 에이전트 간 협력/경쟁이 복잡하고, 전체 상황에 따라 개별 행동의 가치가 크게 달라지는 경우(예: MOBA 게임, 자율주행 군집). 상태 의존적 비선형 분해 능력이 필수적입니다.

🚀 핵심 요약 및 전망

QMIX와 VDN은 '중앙 훈련, 분산 실행'이라는 MARL의 핵심 철학을 구현하는 가장 강력한 도구입니다. VDN이 단순함의 미학을 보여준다면, QMIX는 하이퍼네트워크를 통해 복잡한 시너지를 계산해냅니다.

이제 연구는 단순한 단조 합산을 넘어, QTRAN과 같이 비단조적 관계와 희소 보상(Sparse Reward)까지 처리하는 방향으로 진화하고 있습니다. 하지만 이 모든 발전의 토대에는 '효용 분해'라는 본질적인 원리가 자리 잡고 있음을 기억해야 합니다.