[NDC22] ‘리니지: 거울전쟁’, 유저처럼 행동하는 AI 캐릭터 만들기

국내 게임업계 최대 지식공유 컨퍼런스인 넥슨 개발자 컨퍼런스(NDC) 2일 차 세션이 9일 공개됐다. 엔씨소프트 AI(인공지능) 시스템 팀 한태경, 박현수 개발자는 ‘리니지: 거울전쟁’ 세션에서 강화학습 AI 서비스를 실제 게임 콘텐츠에 접목한 노하우를 공유했다.

‘리니지: 거울전쟁’은 AI로 구현된 캐릭터(이하 APC)와 대결하는 콘텐츠다. 몬스터 AI와 달리, 몬스터나 보스 사냥과 PvP까지 가능하게 개발됐다. 진짜 유저와 같이 행동하고, 사냥터를 통제하는 콘텐츠로 신선한 재미를 선사했다.

유저처럼 행동하는 AI인 만큼 구현에도 많은 어려움이 따랐다. 강화학습 알고리즘 차원부터 문제가 발생했다. 수많은 캐릭터와 스킬, 행동 패턴과 이동 경로까지 수백 가지 행동을 할 수 있기 때문이다. 박 개발자는 상위 수준과 하위 수준의 의사결정을 분리해 학습하는 것으로 해결책을 찾았다.

구체적으로는 캐릭터의 이동과 관련된 배치 폴리시(Policy)와 전투 폴리시로 수준을 나눴다. 여기에 사냥터의 주요 지점과 고수준의 이동 결정 등 다양한 방법으로 부족한 부분과 학습 속도를 높였다. 이때, 보상을 최대화하기 위해 APC가 부자연스러운 행동을 한다면, 기획자의 의도대로 움직이도록 강제하며, 이를 위한 도구와 툴 개발이 필요할 수 있다고 덧붙였다.

학습과정에서도 문제가 발생했다. 폭발적인 트레픽을 처리해야했고, APC가 의도대로 잘 행동하고 있는지 모니터링도 필요했다. ‘리니지’의 빠른 업데이트 주기도 문제 중 하나였다. 한 개발자는 AI 프레임워크(Framework)를 이용해 콘텐츠 개발에 생산성과 안정성을 확보했다고 설명했다. 이어 윈도우 컨테이너(Windows Container) 기반으로 대규모 AI 학습환경을 구축하면 업데이트, 문제 발생 시 자동 복구, 모니터링 등 여러 이점이 있다고 추천했다. 무엇보다 학습 속도를 높일 수 있다는 강점을 강조했다. 이밖에 이슈 탐지 도구로 치명적인 이슈를 자동 탐지하는 방법을 도입해 효율적인 모니터링이 가능했다는 경험을 공유했다.