[붙임] 연구결과 개요

1.연구배경

다중 에이전트 강화학습(MARL)은 여러 인공지능(AI) 에이전트가 공동의 환경에서 상호작용하며 협력하는 방식으로, 드론 군집 제어, 자율 로봇, 스마트 공장 등 다양한 분야에서 활발히 활용되고 있다. 그러나 실제 환경에서는 센서 오류, 통신 지연, 외부 교란, 또는 악의적 개입 등 예기치 못한 상황이 빈번하게 발생하며, 이로 인해 학습된 AI 시스템의 성능이 급격히 저하될 수 있다. 이러한 문제를 해결하기 위해 적대적 공격(Adversarial Attack)을 활용한 연구들이 진행되어 왔지만, 대부분 단일 에이전트나 단일 시점을 대상으로 해 협력 구조 전체를 무너뜨리는 데는 한계가 있었다. 실제 MARL 시스템은 하나의 에이전트가 공격받더라도 나머지 에이전트가 이를 감지하고 보완해 전체 성능을 유지하는 특성을 갖기 때문이다. 이로 인해 기존 공격 기법만으로는 시스템의 강건성을 충분히 향상하기 어려운 문제가 있었다. 이러한 한계를 극복하기 위해, 본 연구는 늑대의 사냥 전략에서 영감을 얻어 협력 구조를 순차적으로 붕괴시키는 ‘Wolfpack 적대적 공격’을 고안했으며, 동시에 이에 대응해 강인한 협력 구조를 유지할 수 있는 다중 에이전트 강화학습 기법도 함께 개발했다.

2.연구내용

본 연구는 늑대의 사냥 전략에서 착안하여, 협력 구조 전체를 정밀하게 붕괴시키는 ‘Wolfpack 적대적 공격자’를 설계하였다. 이 공격자는 특정 에이전트를 초기 공격한 뒤, 해당 에이전트에 반응하거나 협력하는 에이전트를 선별해 후속 공격을 수행함으로써 연쇄적인 협력 붕괴를 유도한다. 특히, 공격에 따른 행동 양상을 정량적으로 측정하여 후속 타겟을 선택함으로써, 협동성 변화가 큰 에이전트를 효과적으로 식별한다. 또한, 공격 시점은 트랜스포머(Transformer) 기반 플래너(planner)가 향후 가치의 손실을 예측하여 가장 치명적인 순간을 결정하며, 이를 통해 제한된 공격 횟수로 최대의 효과를 달성한다.

마지막으로, 이러한 공격 전략을 학습 루프에 포함한 방어 프레임워크인 ‘WALL’을 함께 제안하였다. WALL은 에이전트가 Wolfpack 공격을 경험하며 상황에 따라 유동적인 협력 구조를 형성하도록 유도하며, 강건한 협동 정책을 학습하게 한다. 이로써 본 연구는 MARL 환경의 현실 적용 가능성을 높이고, 예기치 못한 교란 상황에서도 안정적으로 작동하는 협력 AI 시스템 구현에 기여한다.

3.기대효과

본 연구는 다중 에이전트 시스템의 협력 구조를 정밀하게 붕괴시키는 적대적 공격 기법과, 이를 방어하며 학습하는 강건한 프레임워크를 함께 제시함으로써, 실제 환경에서도 안정적인 협력을 가능하게 한다. 이를 통해 자율 드론, 스마트 팩토리, 군집 로봇, 자율주행 차량 등 다양한 분야에서 예기치 못한 통신 장애, 센서 오류, 악의적 개입 등 교란 상황에 대응할 수 있는 신뢰도 높은 AI 협력 시스템 구축이 가능하다. 특히 공격 시나리오를 학습에 포함함으로써 시스템의 일반화 성능을 향상시키고, 실시간 대응성 및 협동 회복성을 강화함으로써 산업 현장의 안정성과 지속 가능성을 크게 높인다. 본 기술은 향후 군사·재난 대응, 물류 자동화, 탐사 로봇, 자율 교통 등 고위험·고복잡 환경에서의 핵심 인공지능 기술로 자리 잡을 수 있을 것으로 기대된다.

[붙임]  용어설명

1.다중 에이전트 강화학습(Multi-Agent Reinforcement Learning, MARL)

여러 개의 인공지능(AI) 에이전트가 하나의 환경에서 상호작용하며, 각각의 행동을 통해 보상을 받고 최적의 정책을 학습하는 방식의 인공지능 기법이다. 각 에이전트는 협력하거나 경쟁하면서 개별 또는 공동의 목표를 수행하게 되며, 이를 통해 복잡한 환경에서도 효율적인 의사결정이 가능하다.

2.적대적 공격 기법(Adversarial Attack)

인공지능(AI) 시스템이 오작동하도록 유도하는 인위적인 교란 기법이다. 주로 입력 데이터를 미세하게 조작하거나, 학습된 정책의 약점을 공략해 성능을 저하시킨다. 이러한 공격은 AI 모델이 학습하지 않은 극단적 상황이나 예외적 환경에서 얼마나 안정적으로 작동하는지를 평가하는 데 활용된다.

3.트랜스포머(Transformer)

자연어 처리(NLP)를 비롯한 다양한 인공지능 분야에서 활용되는 딥러닝 모델 구조이다. 입력 데이터를 순차적으로 처리하는 기존의 순환신경망(RNN)과 달리, 트랜스포머는 전체 입력 시퀀스를 동시에 처리하며, 각 요소 간의 관계를 어텐션(attention) 메커니즘을 통해 계산한다. 이를 통해 장기 의존성(long-term dependency)을 효과적으로 처리할 수 있으며, 최근에는 시계열 예측, 로봇 제어, 강화학습 등 다양한 분야에서 활용되고 있다.

4.플래너(Planner)

미래의 행동 또는 상태를 예측하거나 최적의 의사결정을 내리기 위해 사용하는 인공지능 모듈 또는 알고리즘이다. 플래너는 주어진 목표를 달성하기 위해 가능한 행동의 시퀀스를 예측하거나 설계하며, 강화학습, 로봇 제어, 경로 탐색 등 다양한 분야에서 활용된다.

[붙임] 그림설명

그림1. 늑대의 사냥 전략. 하나의 늑대가 먼저 먹잇감을 공격하면, 먹잇감 무리는 이에 대응하기 위해 방어 행동을 취하게 된다. 이때 나머지 늑대들이 후속 공격에 참여함으로써, 먹잇감의 방어를 분산시키고 전체적인 사냥 성공률을 높이는 전략이다.

그림 2. 울프팩어택의 후속 공격 대상이 되는 AI에이전트 선정 과정. 초기 공격을 받은 4번 에이전트를 기준으로, 해당 에이전트를 지원하거나 협력하려는 행동을 보인 1번과 3번 에이전트가 후속 공격 대상자로 선정된다. 이 과정에서는 공격 전후의 행동 양상 변화를 정량적으로 측정하며, 변화량이 큰 에이전트일수록 후속 타겟으로 선택될 가능성이 높다.

그림 3. 울프팩 어택의 공격 시점 선택 과정. Transformer 기반의 planner를 활용해 향후 공격 전후의 가치의 변화를 예측하고, 이를 바탕으로 공격 시점을 확률 분포 형태로 산출한다. 이후 이 분포를 따라 공격 시점을 확률적으로 선택하게 된다. 이때 분포가 지나치게 뾰족하면 공격 시점이 특정 시점에만 집중되어 다양성이 감소하며, 반대로 분포가 지나치게 완만하면 공격의 치명도가 떨어지는 문제가 발생한다. 따라서 효과적인 공격을 위해 적절한 분포 형태를 설계하는 것이 중요하다.