서강대학교 컴퓨터공학과 서정연 교수 연구팀(김병재* 박사과정, 정영훈*, 이인권 석사과정, 정연석, 이세진 학부인턴)이 인공지능 대화 시스템 분야 대표적 국제 경진대회인 제9회 대화시스템기술챌린지(The Ninth Dialogue System Technology Challenge: DSTC9)의 멀티모달 대화형 인공지능(Situated Interactive Multi-Modal Conversational AI) 부문에서 우승을 차지했다.(* : 공동기여)

DSTC9은 IBM Research, Google Research, Amazone Alexa AI, 그리고 마드리드 공과대학교가 공동주최하였고, 지난 6월 데이터셋 공개 이후 약 3개월에 걸쳐 진행되었다. 본 연구팀이 참여한 경쟁 부문, Track 4는 사용자가 가구나 옷을 쇼핑하는 상황에서 AR/VR 등의 시각정보를 사용하여 인공지능 점원과 대화를 하는 차세대 쇼핑 시스템 개발을 주제로 이루어졌다. 이 때 사용된 SIMMC(Situated and Interactive Multimodal Conversations) 데이터는 Facebook AI에서 직접 수집하고 올해 새롭게 공개한 데이터이다.

(참고 자료: https://ai.facebook.com/blog/simmc-a-data-set-for-developing-next-generation-shopping-assistants/)

세부 주제로는 1) API 호출(Dialog Policy) 2) 시스템 발화 생성(Natural Language Generation; NLG) 그리고 3) 대화 상태 추척(Dialog State Tracking; DST)이 있었고, 주제별로 수상팀이 선정되었다. 본 연구팀은 각각 2), 3) 주제에서 1등, 1) 주제에서 2등을 하는 영예를 차지하였다. 2, 3번 주제를 위한 시스템으로는 언어생성 모델인 GPT-2를 기반으로 대화 상태 추적과 발화 생성을 한번에 수행하는 하나의 심층 신경망 모델을 디자인하였고, 전처리(preprocessing)를 통해 성능을 대폭 향상시켰다. 1번 주제를 위한 시스템으로는 장단기 기억장치인 LSTM 모델을 기반으로 쇼핑에 도움이 되는 시각정보와 사용자의 발화정보를 융합하는 세 가지 게이트를 적용하는 모델을 제안하였다.

이번 연구는 2021년도 Association for the Advancement of Artificial Intelligence(AAAI) 학술대회의 대화시스템기술챌린지 워크숍에서 발표될 예정이다. 또한 Facebook Conversational AI 팀의 연구자와 개발자를 대상으로 초청 발표가 추가적으로 진행될 예정이다.

참고자료

DSTC9 공식 홈페이지

  ▲ (왼쪽부터) 컴퓨터공학과 김병재 박사과정, 정영훈, 이인권 석사과정

  ▲ (왼쪽부터) 컴퓨터공학과 정연석, 이세진 학부생 인턴

▲ (왼쪽부터) 컴퓨터공학과 정연석, 이세진 학부 인턴, 김병재 박사 과정, 서정연 지도교수, 정영훈, 이인권 석사과정